• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            萬星星@豌豆莢 歡迎加入我們
            一個吃軟飯的男人!!!!!我只想寫程序####
            微博:http://weibo.com/wanlianwen
            posts - 172,  comments - 1253,  trackbacks - 0


            很久沒有寫技術方面的東西了,這半年主要是在學習別人的東西,對自己提高比較大,算是一次技術回籠吧,這次學習之旅目的是結束技術方面的專注,開始向應用方面找突破口,也就是完成技術積累或者為技術的積累做堅實的準備。

            c/C++的一個讓人瘋狂的地方就是內存管理,非法訪問、越界、野指針、泄漏、內存分配器等諸多問題,有時候一個編程老手也會迷惘困惑。Crt有一些堆棧檢查的函數可以完成基本的內存狀況檢查,MFC也有一些簡單的對象檢查機制,當然好的算是java、.net等sdk的超重量級封裝了,即使發生對象錯誤也能把堆棧信息明明白白的告訴你(至少表面上是這樣,具體我對這兩種語言沒有做過開發)。下面介紹的是某牛公司實現的內存分配工具,基本實現了內存泄漏檢查,對象合法性檢查,對于我來說已經夠用了。


            為了對內存分配塊進行跟蹤,設計如下結構體:

            //+--------------------------------------------------------------
            //
            // 每個請求分配內存塊的前綴結構體
            // 用來跟蹤所有請求分配塊以及請求分配名稱
            //
            //---------------------------------------------------------------
            struct DBGALLOCHDR
            {
                DBGALLOCHDR
            *    pdbgahPrev; // 前一個內存塊頭
                DBGALLOCHDR*    pdbgahNext; // 后一個內存塊頭
                DWORD           iAllocated; // 記錄是第幾次請求分配操作
                DWORD           tid;        // 請求分配線程的ID
                size_t          cbRequest;  // 請求分配大小
                char            szName[64]; // 請求分配塊名稱
                DWORD           adwGuard[4];// 保護頭
            }
            ;

            //+--------------------------------------------------------------
            //
            // 每個請求分配內存塊的后綴結構體
            // 使用特定的數據填充用來檢測指針是合法
            //
            //---------------------------------------------------------------
            struct DBGALLOCFOOT
            {
                DWORD adwGuard[
            4];
            }
            ;

            // 內存跟蹤塊的根,通過根可以獲取所有分配塊
            DBGALLOCHDR g_dbgahRoot =
            {
                
            &g_dbgahRoot,
                
            &g_dbgahRoot,
                
            0,
                (DWORD)
            -1
            }
            ;


            為了實現多線程內存分配跟蹤,采用Tls技術使用線程局部對象保存當前分配信息:
            // 線程局部對象結構體,輔助實現每個線程的請求內存分配記錄
            struct DBGTHREADSTATE
            {
                DBGTHREADSTATE
            * ptsNext;
                DBGTHREADSTATE
            * ptsPrev;

                
            // Add globals below
                void*           pvRequest;  // 線程最后一次請求分配內存的指針
                size_t          cbRequest;  // 線程最后一次請求分配內存的大小
            }
            ;



            // 調試期間實際分配內存大小=請求分配+分配頭+分配尾
            size_t _ActualSizeFromRequestSize(size_t cb)
            {
                
            return cb+sizeof(DBGALLOCHDR)+sizeof(DBGALLOCFOOT);
            }


            主要實現的內存分配工具有如下這些:
            void*   _MemAlloc(ULONG cb);
            void*   _MemAllocClear(ULONG cb);
            HRESULT _MemRealloc(
            void** ppv, ULONG cb);
            ULONG   _MemGetSize(
            void* pv);
            void    _MemFree(void* pv);
            HRESULT _MemAllocString(LPCTSTR pchSrc, LPTSTR
            * ppchDst);
            HRESULT _MemAllocString(ULONG cch, LPCTSTR pchSrc, LPTSTR
            * ppchDst);
            HRESULT _MemReplaceString(LPCTSTR pchSrc, LPTSTR
            * ppchDest);

            #define MemAlloc(cb)                            _MemAlloc(cb)
            #define MemAllocClear(cb)                       _MemAllocClear(cb)
            #define MemRealloc(ppv, cb)                     _MemRealloc(ppv, cb)
            #define MemGetSize(pv)                          _MemGetSize(pv)
            #define MemFree(pv)                            _MemFree(pv)
            #define MemAllocString(pch, ppch)               _MemAllocString(pch, ppch)
            #define MemAllocStringBuffer(cch, pch, ppch)    _MemAllocString(cch, pch, ppch)
            #define MemReplaceString(pch, ppch)             _MemReplaceString(pch, ppch)
            #define MemFreeString(pch)                      _MemFree(pch)


            通過宏實現類的new delete重寫:
            #define DECLARE_MEMALLOC_NEW_DELETE() \
                inline 
            void* __cdecl operator new(size_t cb)    return(MemAlloc(cb)); } \
                inline 
            void* __cdecl operator new[](size_t cb)  return(MemAlloc(cb)); } \
                inline 
            void __cdecl operator delete(void* pv)   { MemFree(pv); }

            #define DECLARE_MEMCLEAR_NEW_DELETE() \
                inline 
            void* __cdecl operator new(size_t cb)    return(MemAllocClear(cb)); } \
                inline 
            void* __cdecl operator new[](size_t cb)  return(MemAllocClear(cb)); } \
                inline 
            void __cdecl operator delete(void* pv)   { MemFree(pv); }


            在應用的時候可以重寫全局new delete:
            // 測試全局new delete
            void* __cdecl operator new(size_t cb)    return(MemAlloc(cb)); }
            void* __cdecl operator new[](size_t cb)  return(MemAlloc(cb)); }
            void __cdecl operator delete(void* pv)   { MemFree(pv); }


            使用注意:
            進程啟動時候需要調用:
            _DbgDllProcessAttach();
            _afxGlobalData._hProcessHeap = GetProcessHeap();

            進程退出的時候需要調用:
            _DbgDllProcessDetach();

            測試用例:

            // 測試基本類型
            void TestBuiltin()
            {
                
            // 基本類型
                int* pInt = new int(10);
                
            int* pIntAry = new int[10];
                
            char* pStr = new char[100];
                MemSetName((pStr, 
            "String"));
            }


            // 測試class
            void TestClass()
            {
                Cls
            * pCls = new Cls();
            }


            // 測試釋放
            void TestOk()
            {
                Cls
            * pCls = new Cls();
                delete pCls;
                pCls 
            = NULL;
            }


            DWORD WINAPI ThreadProc(LPVOID lpParameter)
            {
                
            int* pIntAry = new int[100];
                
            return 0;
            }


            // 測試多線程
            void TestMultiThread()
            {
                HANDLE hHandle 
            = CreateThread(NULL, 0, ThreadProc, NULL, 0, NULL);
                WaitForSingleObject(hHandle, 
            -1);
            }


            int main(int argc, char* argv[])
            {
                _DbgDllProcessAttach();

                _afxGlobalData._hProcessHeap 
            = GetProcessHeap();

                TestBuiltin();
                TestClass();
                TestMultiThread();
                TestOk();

                _DbgDllProcessDetach();
                
            return 0;
            }


            調試輸出窗口結果:
            A +    4 -    0 = [      4]
            A +   40 -    0 = [     44]
            A +  100 -    0 = [    144]
            A +    8 -    0 = [    152]
            A +  400 -    0 = [    552]
            The thread 0x1D38 has exited with code 0 (0x0).
            A +    8 -    0 = [    560]
            F +    0 -    8 = [    552]
            ---------- Leaked Memory Blocks ----------
            p=0x00144354  cb=400  #=4    TID:0x1d38
            p=0x00144294  cb=8    #=3    TID:0x1878
            p=0x001441a4  cb=100  #=2    TID:0x1878 String
            p=0x001440ec  cb=40   #=1    TID:0x1878
            p=0x00142a54  cb=4    #=0    TID:0x1878
            total size 552, peak size 560
            ---------- Leaked Memory Blocks End ------


            其中A表示分配 F表示釋放

             

            該工具本人初試沒有中毒癥狀,打算納入個人小寶庫中,希望大家喜歡!

            下載

            posted on 2009-06-03 16:16 萬連文 閱讀(2799) 評論(11)  編輯 收藏 引用 所屬分類: 亂七八糟

            FeedBack:
            # re: 技術回歸01-Windows內存分配工具
            2009-06-03 16:51 | OwnWaterloo
            operator delete[]呢?  回復  更多評論
              
            # re: 技術回歸01-Windows內存分配工具
            2009-06-03 17:33 | 萬連文
            因為底層實現是Heap**操作,所以delete和delete[]都會調用HeapFree,所以恰好可以完成任務。  回復  更多評論
              
            # re: 技術回歸01-Windows內存分配工具
            2009-06-03 21:30 | OwnWaterloo
            @萬連文
            某某牛庫是哪個庫?
            其實跟有沒有庫這樣做沒關系,跟該庫牛不牛也沒什么關系。
            不能跟著別人錯。

            底層實現是HeapXXX?
            其實跟底層實現到底是什么沒關系。
            C++標準沒要求底層實現怎么做, 但是要求重載operator new必須有其對應形式的operator delete重載。


            跟測不測試也沒關系。
            一次不帶TT不會懷上不等于次次都不會懷上。
            一個編譯器上測試成功,不等于每個編譯器都能測試成功。
            在某個編譯器上能測試通過,并不能證明或證偽。


            編寫operator new/delete要遵守一些規范。
            HeapAlloc能否處理 size=0?
            HeapAlloc分配失敗時的new_hanlder處理?
            對其他形式new的隱藏?
            "重載"(而不是覆蓋全局標準)op new時,如果不提供相應形式的op delete,是否也能正確工作?
            與其在不同平臺,不同編譯器,甚至是相同編譯器的不同版本下進行測試,不如一開始就按照標準形式編寫。  回復  更多評論
              
            # re: 技術回歸01-Windows內存分配工具
            2009-06-04 07:42 | 萬連文
            感謝你的指導, 我沒有說跨平臺, 也沒有說實用多個編譯器,我一直使用VC系列工具在Windows上面寫程序,其他的編譯器和OS了解很少,對C++標準也研究不夠,出發點只是想找到一個經過驗證的(大的、成功的產品使用過的)簡便的工具。 我想軟件工具都不是完美的,考慮太多就沒完沒了了,我堅持實用原則。  回復  更多評論
              
            # re: 技術回歸01-Windows內存分配工具
            2009-06-04 10:32 | OwnWaterloo
              1#include <stddef.h>
              2#include <stdlib.h>
              3#include <stdio.h>
              4#include <vector>
              5
              6#include <stdexcept>
              7
              8
              9#if defined(_MSC_VER) && _MSC_VER<1400
             10#include <new.h>
             11namespace std using ::set_new_handler; using ::new_handler; }
             12#else
             13#include <new>
             14#endif
             15
             16
             17void* allocate(size_t size) {
             18    if (size==0) size = 1;
             19    for (void* p=0;;) {
             20        p = malloc(size);
             21        if (p) {
             22            printf("allocate %p\n",p);
             23            return p;
             24        }

             25        std::new_handler handler = std::set_new_handler(0);
             26        std::set_new_handler(handler);
             27        if (handler)
             28            handler();
             29        else
             30            throw std::bad_alloc();
             31    }

             32}

             33
             34void deallocate(void* ptr) {
             35    printf("deallocate %p\n",ptr);
             36    free(ptr);
             37}

             38
             39void* operator new(size_t size) return allocate(size); }
             40void* operator new[](size_t size) return allocate(size); }
             41void operator delete(void* ptr) { deallocate(ptr); }
             42
             43class C {
             44    static int count;
             45public:
             46    static bool fail;
             47    C() {
             48        if (fail)
             49            throw std::exception();
             50        printf("C::C(),%d\n",++count);
             51    }

             52    ~C() {
             53        printf("C::~C(),%d\n",count--);
             54    }

             55    C(const C& ) {
             56        printf("C::(const C&),%d\n",++count);
             57    }

             58
             59
             60    //void* operator new(size_t,void* place) { return place; }
             61    void* operator new(size_t size) return allocate(size); }
             62    void* operator new[](size_t size) return allocate(size); }
             63    void operator delete(void* ptr) { deallocate(ptr); }
             64}
            ;
             65bool C::fail;
             66int C::count;
             67
             68struct S {
             69    static bool fail;
             70    S() {
             71        if (fail)
             72            throw std::exception();
             73        printf("construct\n");
             74    }

             75    ~S() {
             76        printf("destroy\n");
             77    }

             78}
            ;
             79bool S::fail;
             80
             81void test_class(int dim) {
             82    if (dim<=0)
             83        return;
             84    C::fail = dim==4;
             85    C* arr = new C[dim];
             86    delete[]  arr;
             87}

             88
             89
             90void test_global(int dim) {
             91    if (dim<=0)
             92        return;
             93    S::fail = dim==4;
             94    S* arr = new S[dim];
             95    delete[] arr;
             96}

             97
             98int main() {
             99    using namespace std;
            100    int dim = 0;
            101    for (printf("input dim: ");scanf("%d",&dim)==1;printf("input dim: "))
            102    {
            103        try {
            104            test_class(dim);
            105        }

            106        catch (std::exception& ) {
            107            printf("  ---- catch an exception ----\n");
            108        }

            109        try {
            110            test_global(dim);
            111        }

            112        catch (std::exception& ) {
            113            printf("  ---- catch an exception ----\n");
            114        }

            115    }

            116}

            117
             
            有兩個底層分配函數allocate和deallocate,它們使用malloc和free。
            用這兩個函數實現全局的3個op new,op new[], op delete,沒有op delete[]
            還用這兩個函數實現了C的3個op new,op new[], op delete,同樣沒有op delete[]
            用如下參數編譯
            cl /EHsc /MD /analyze /W3
             
            你看看結果吧。
            我用vc8、9測過(vc6不支持動態crt庫,vc10我沒裝)。
            反正兩處delete[] arr;都沒有調用 op delete。
            它們調用那個全局的,沒有被重寫的op delete[]。
            如果靜態鏈接,該全局默認的op delete[]會被inline, 再調用該編譯單元中定義的op delete。
            如果動態鏈接,op delete[]不會被inline,會調用crt庫中提供的op delete。
            總之,這兩處delete[] arr;都沒有調用deallocate。
             
            當然, 你可以說你只靜態鏈接到crt庫。
            也可以說你的allocate和deallocate底層實現絕對會一直保持與vc提供的crt兼容
            但是,你的代碼的用戶了解么?
            難道你打算在文檔中寫“使用我的庫的代碼者,使用的crt庫必須滿足XXX要求,必須自己測試YYY”,只是為了你自己可以少寫一個 op delete[]
            這不是程序庫開發者的態度。
             
            還有兩個小問題。
            C* pc = static_cast<C*>(malloc(sizeof(*pc));
            new (pc) C; // 編譯錯誤
            C* pc2 = new (std::nothrow) C; // 編譯錯誤
             
            當然, 你還是可以說你絕對不會用這種東西, 你是實用主義嘛。
            但是你的庫的使用者呢?
             
             
            “出發點只是想找到一個經過驗證的(大的、成功的產品使用過的)簡便的工具”
            你覺得這可以說明該產品中的每個細節都是無可挑剔的么?
            越是大的產品,測試越不容易,更不容易暴露其中的問題,同時也許忽悠客戶也更容易。
             
             
            確實沒有任何事物都是完美的,但不能連追求完美的心都舍棄了。
            同時,從實用角度出發,讓該庫變得更完美,所付出的代價非常小,“按規則”辦事就可以了,10來行代碼的事,何樂而不為?
            規則可以見《EffCpp》或者《C++CodingStandard》。
              回復  更多評論
              
            # re: 技術回歸01-Windows內存分配工具
            2009-06-04 10:32 | OwnWaterloo
            sorry…… 不小心提交了2次 ……
            我自己刪掉一個 ……  回復  更多評論
              
            # re: 技術回歸01-Windows內存分配工具
            2009-06-04 11:29 | 萬連文
            因為我是看微軟這么做的,自己確實沒有發現什么錯誤,我沒法不承認她的實現可以為我所用,可能就是中毒太深吧。您上面寫的那些已經超出了我的知識范圍,我需要好好學習。至于 vc6不支持動態crt庫 好像可以通過修改/MLd到/MDd實現。  回復  更多評論
              
            # re: 技術回歸01-Windows內存分配工具
            2009-06-04 12:04 | OwnWaterloo
            @萬連文
            微軟的哪? MFC?

            上面的命令行 cl /MD 已經告訴編譯器鏈接到動態庫了。
            vc6不支持是因為它只有靜態庫。 crt的動態庫是跟.net那一套東西一起出來的。  回復  更多評論
              
            # re: 技術回歸01-Windows內存分配工具
            2009-06-04 12:13 | 萬連文
            微軟的什么我沒有必要告訴你,crt的動態庫我不曉得你怎么想,用dependency工具看看就曉得依賴不依賴了,我對自己的認識也不是十足的把握。   回復  更多評論
              
            # re: 技術回歸01-Windows內存分配工具
            2009-06-04 17:59 | 99網上書城
            感謝你的指導  回復  更多評論
              
            # re: 技術回歸01-Windows內存分配工具
            2009-06-05 17:50 | Touchsoft
            struct DBGALLOCHDR
            這個結構好像在調試時見到過。  回復  更多評論
              
            簡歷下載
            聯系我

            <2009年9月>
            303112345
            6789101112
            13141516171819
            20212223242526
            27282930123
            45678910

            常用鏈接

            留言簿(66)

            隨筆分類

            隨筆檔案

            相冊

            搜索

            •  

            最新評論

            閱讀排行榜

            評論排行榜

            国产精品久久久久免费a∨| 国产成人综合久久综合| AV色综合久久天堂AV色综合在| 99久久精品国产一区二区三区 | 久久成人国产精品| 久久亚洲2019中文字幕| 国产亚洲综合久久系列| 狠狠色丁香婷婷久久综合五月| 国产亚洲欧美精品久久久| 久久精品青青草原伊人| 久久九九久精品国产| 久久99热精品| 久久午夜无码鲁丝片| 久久国产精品无| 久久激情亚洲精品无码?V| 久久午夜电影网| 97精品国产91久久久久久| 久久精品国产男包| 伊人色综合久久天天人守人婷| 欧美伊香蕉久久综合类网站| 欧美一区二区三区久久综合| 精品久久久一二三区| 亚洲午夜无码久久久久小说| 国产精品欧美亚洲韩国日本久久| 国产韩国精品一区二区三区久久| 中文字幕人妻色偷偷久久| 伊人情人综合成人久久网小说| 蜜臀久久99精品久久久久久| 久久精品国产精品亚洲下载| 韩国三级中文字幕hd久久精品| 日韩精品久久久久久| 亚洲国产成人久久精品动漫| 国产精品久久亚洲不卡动漫| 久久99热狠狠色精品一区| 久久精品国产亚洲麻豆| 青青青青久久精品国产| 91久久精品国产91性色也| 国产午夜精品久久久久九九| 久久精品国产一区二区电影| 久久中文精品无码中文字幕| 亚洲欧美国产精品专区久久|