• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            勤能補拙,Expter

            成都游戲Coder,記錄游戲開發(fā)過程的筆記和心得!

            基于策略的一種高效內存池的實現(xiàn)

            一.XXX
                  1)概念說明
                      這里不再具體描述內存池的概念和作用,需要了解請看http://baike.baidu.com/view/2659852.htm?fr=ala0_1_1

                  2)描述
                     在開發(fā)一個長時間運行的服務器程序時,一般頻繁的向操作系統(tǒng)動態(tài)申請內存,而采用堆new分配,速度較慢,而且如果一個程序頻繁的申請小內存塊,很容易產(chǎn)生內存碎片,每次查找相對較慢。
                    因為堆是向高地址擴展的數(shù)據(jù)結構,每次內存分配其實都是進行虛擬內存分配,都會建立虛擬內存的到物理內存的映射,而是分配的一種不連續(xù)的內存區(qū)域,由于系統(tǒng)是用鏈表來存儲的空閑內存地址的,而鏈表的遍歷方向是由低地址向高地址。     
                   這里還有一篇關于關于頻繁的內存分配性能分析 ,圖文并茂的講得很詳細。
                 
                  3)實現(xiàn)目標. 
                   而設計內存池的目的是為了保證一個程序長時間高效的運行,而該程序對內存申請頻繁,為了減少系統(tǒng)內存碎片的產(chǎn)生,合理分配管理用戶內存,從而減少系統(tǒng)中出現(xiàn)有效空間足夠,而無法分配大塊連續(xù)內存的情況。

                     關于實現(xiàn)一個高效與穩(wěn)定內存池模塊有如下目標:
                     A.如何實現(xiàn)內存的快速分配
                     B.如何實現(xiàn)內存的快速釋放
                     C.如何管理內存池的穩(wěn)定與效率.  
                     注:本文介紹的內存池管理效率相對較高,且可以針對任意大小內存分配.... 

              二.設計
                  設計前我們假設內存申請很頻繁,而且申請小于在5120byte的遠遠大于5120byte字節(jié)。
              
                  為了讓設計的內存池的使用更具有通用型和高效性,這里大致介紹通過需求不同指定一種基于內存需求策略的方式設計出一種內存池。   
                  及小于5120字節(jié)的采用小塊內存分配,大于5120的通過操作系統(tǒng)分配,內存池管理.

                  此內存池包括2中分配方式,介紹分配如下:
                  1)  個數(shù)固定的不定長的靜態(tài)內存分配(BlockPool)。           
                   A.設計思路
                  這種主要是根據(jù)程序中不同對象的大小而指定的一種策略,對于每一種大小又是通過一個鏈表鏈表管理,每個鏈表的節(jié)點的內存大小不同,而為了方便內存的管理,一般在程序初始化的時候針對不同的策略大小分配一塊內存塊,然后把此內存塊劃分為多個節(jié)點保存到鏈表中,每一個鏈表中保存的將是空閑的節(jié)點。
                  
                   B.基本數(shù)據(jù)結構  

             基本數(shù)據(jù)結構:
                   
            /// 指定的策略
                   enum eBuff_Type
            {
                eBT_32 
            =0,
                eBT_64,
                eBT_128,
                eBT_256,
                eBT_512,
                eBT_1024,
                eBT_2048,
                eBT_5120,

                eBT_END,
            }
            ;

              /// 定一個雙向鏈表的節(jié)點2個指針   

            /// 
            ///  file  BaseNode.h
            ///  brief 一個雙向鏈表需要的前后指針節(jié)點
            /// 

             
            #pragma  once 
            template 
            < typename  T >
            class  CNode
            {
                typedef  T  Node;
            public:
                Node
            *    next;
                Node
            *   prev;

                CNode()
                
            {
                    next 
            = prev = NULL;
                }

            }
            ;
            /// 節(jié)點
            struct  Buffer: CNode<Buffer>
            {
                eBuff_Type   type;
            }
            ;

            /// 不同大小的數(shù)據(jù)節(jié)點.

            struct Buffer32 :  Buffer {    char buf[32];   };
            struct Buffer64 :  Buffer {    char buf[64];   };
            struct Buffer128 : Buffer {    char buf[128];  };
            struct Buffer256 : Buffer {    char buf[256];  };
            struct Buffer512 : Buffer {    char buf[512];  };
            struct Buffer1024: Buffer {    char buf[1024]; };
            struct Buffer2048: Buffer {    char buf[2048]; };
            struct Buffer5120: Buffer {    char buf[5120]; };

             

            ///TlinkedList為一個鏈表
            ///這里包括eBT_END數(shù)組

            TlinkedList<Buffer>  m_MemPool[eBT_END];


               m_MemPool主要結構圖如下:
                 
                           
                   C.性能分析
                      分配
                        這里策略只是針對小于eBT_5120Byte的內存進行分配,根據(jù)傳入的大小直接Hash利用m_MemPool[idx]返回鏈表頭,返回Buffer節(jié)點的buf數(shù)據(jù)塊。
                      釋放:根據(jù)傳入要釋放的Mem內存地址     

             /// 獲得偏移地址
            Buffer* buf = (Buffer_Face*)( (char*)Mem - offsetof(Buffer_Face,buf) );

                         通過偏移地址即可獲得buf的地址,buf里面包括type獲得m_MemPool的索引,然后把釋放的節(jié)點重新Push到m_MemPool[type]中。
                    
                      性能: 插入,分配都是0(1)


                 2)  完全動態(tài)分配內存(HeapPool)。
                      介紹了上面的靜態(tài)內存分配,其實是在利用已經(jīng)分配好了的內存塊里面在進行查找,釋放也是直接根據(jù)傳入的直接直接保存到緩存表中。
                       A.介紹下需要的基本數(shù)據(jù)結構

            struct  listNode : CNode<listNode>
                
            {
                    
            long  size;
                    
            /// 指向的內存
                    char* ptr;
                }
            ;
                
            struct  HeapNode
                
            {    
                    
            /// memory request rate
                    __int64              m_Count;
                    
            /// all free memory list
                    TlinkedList<listNode> m_FreeList;
                    
            /// using memory list
                    TlinkedList<listNode> m_Used;
                    HeapNode( )
                    
            {
                        m_Count 
            = 0 ;
                        m_FreeList.ReleaseList();
                        m_Used.ReleaseList();
                    }

                }
            ;

                     typedef std::map<unsigned long,HeapNode* > MHEAPLIST;  /// 其中map的key是分配的大小。
                     HeapNode的結構圖如下:
                          
                        B.設計思路
                             根據(jù)策略程序一般大于5120Byte字節(jié)的相對比較少,而程序請求大小也是相對比較規(guī)則,散列不是太大。
                             HeapNode有2個鏈表m_FreeList和m_Used,其中鏈表的節(jié)點如圖ListNode所示
                             listNode有一個ptr表示需要配的內存,ptr指向的前8個地址為listnode的地址值(根據(jù)Cpu的最大尋址為64位),ptr+8則是分配的內存地址,為什么這么設計呢?
                            我是這樣想的外界使用內存空間為data區(qū)域,那么我們釋放的時候的只是需要傳入data的地址,即可通過求出listnode的地址,    

            /// 根據(jù)MemAddr的地址求listnode地址
            __int64   pAddr = *(__int64*)((char*)MemAddr-8);
            listNode
            * pNode =  (listNode*)pAddr;

                           得到listNode地址后即可進行找到對應的HeapNode,然后進行釋放或者放入緩存列表的操作。              
                           關于HeapNode的管理,為了節(jié)約內存我們不可能一直申請內存而不釋放,所以我們約定m_FreeList只是保存m_Used中一半大小的結點。當m_FreeList過多的節(jié)點時需要釋放一定空間。(這個約定可以根據(jù)不同的需求而制定).

                           上面介紹了為什么如此的設計這個數(shù)據(jù)結構,下面介紹分配策略。分配的時候先查找是否有緩存數(shù)據(jù),沒有則分配一個,否則直接返回m_FreeList的一個listNode(結點)的ptr+8;
                           

                        C.性能分析
                             通過上面描述可以確定基于完全動態(tài)分配的效率
                             分配的時候  lg(n);
                             釋放的時候 lg(n);
                            而map的查找基于AVL樹,所以查找基本是常量型的。               
             
              三.實現(xiàn)
                  上面只是介紹了分配方式,下面介紹實現(xiàn)。
                   通過上面描述可知,對于大于5120byte的內存分配采用HeapPool分配,否則采用BlockPool分配。
                   為了方便外界使用我們使用一個CMemFactory內存分配工廠,通過使用者申請Size和釋放pAddr即可快速進行分配和釋放。

              代碼如下:
                   http://code.google.com/p/tpgame/source/browse/#svn/trunk/MemPool/MemPool

             具體代碼打包如下:     
                 /Files/expter/Pool.rar
                   

            注:如需了解跟多的內存池是實現(xiàn)可以閱讀STL SGI,  Loki,  Boost內存池的實現(xiàn)...


            附帶最新內存池,實現(xiàn)和介紹...
            http://www.shnenglu.com/expter/archive/2011/01/18/138787.html

            posted on 2010-04-14 23:23 expter 閱讀(5469) 評論(11)  編輯 收藏 引用 所屬分類: 其他學習筆記工作筆記算法與數(shù)據(jù)結構Ai

            評論

            # re: 基于策略的一種高效內存池的實現(xiàn) 2010-04-15 08:45 ccsdu2009

            不錯  回復  更多評論   

            # re: 基于策略的一種高效內存池的實現(xiàn)[未登錄] 2010-04-15 09:04 Megax

            你這個內存池本身的數(shù)據(jù)結構就不夠優(yōu)化。一些數(shù)據(jù)本身就是可以放在內存池中的Data塊的。另外也不知道你為什么選擇5120,我記得windows的也內存是4KB.還有你的查找居然是用Map....而且是對指針進行Hash.
            Loki當中有一個讓人嘆為觀止的內存池實現(xiàn),建議你看看,極其小巧與精致。  回復  更多評論   

            # re: 基于策略的一種高效內存池的實現(xiàn) 2010-04-15 09:08 expter

            @Megax
            map的key是long,不知道哪兒用了指針類型。
            我的第一種實現(xiàn)方式就是借鑒loki庫...  回復  更多評論   

            # re: 基于策略的一種高效內存池的實現(xiàn) 2010-04-15 10:57 欣萌

            有個疑問 為什么是5120

            是不是太大了啊。  回復  更多評論   

            # re: 基于策略的一種高效內存池的實現(xiàn) 2010-04-15 11:24 expter

            @欣萌
            這個根據(jù)不同的程序需求而不同,可以指定不同的策略。  回復  更多評論   

            # re: 基于策略的一種高效內存池的實現(xiàn) 2010-04-17 01:58 qiaojie

            不會使用free list數(shù)據(jù)結構的memory pool都是垃圾  回復  更多評論   

            # re: 基于策略的一種高效內存池的實現(xiàn) 2010-04-17 03:09 欲三更

            mempool大概就是這樣子吧, 我應該寫不出這么好:)

            但是: 1. 如果我要申請的是8字節(jié)這么大的內存, 那么內存浪費的比率就非常之大!
            2. struct Buffer: CNode<Buffer>
            {
            eBuff_Type type;
            };

            就說這個結構, 就為了記錄一個大小, 每個對象里都要存儲一個變量, 不覺得浪費么?  回復  更多評論   

            # re: 基于策略的一種高效內存池的實現(xiàn) 2010-04-17 03:10 欲三更

            @qiaojie
            要是人家不用list呢?  回復  更多評論   

            # re: 基于策略的一種高效內存池的實現(xiàn) 2010-04-17 09:48 expter

            @欲三更
            記錄大小是為了用空間換一次查找的過程。。
            如果我們只需要傳入內存地址,那么可以通過偏移地址即可得到eBuff_Type type,直接可以得到存儲索引進行內存釋放。  回復  更多評論   

            # re: 基于策略的一種高效內存池的實現(xiàn) 2010-04-17 18:58 欲三更

            @expter
            我知道你是這個意思, 但還是覺得太奢侈了.
            反正你只把相同尺寸的Buffer連在一起, 能不能這樣簡單點搞搞?:

            template <size_t s>
            struct Buffer
            {
            ----static size_t Size;
            ----union
            ----{
            --------struct
            --------{
            ------------Buffer<s> *pNext;
            ------------Buffer<s> *pPrevious;
            --------}p;
            --------char m_pBuf[s];
            ----}
            };

            然后模板顯式實例化順便把靜態(tài)成員也賦上值.  回復  更多評論   

            # re: 基于策略的一種高效內存池的實現(xiàn) 2012-01-20 13:15 灰兔

            @qiaojie
            apr_pool_t呢?~ ~~  回復  更多評論   

            久久精品国内一区二区三区| 亚洲国产成人久久综合一| 久久精品国产福利国产秒| 亚洲国产一成人久久精品| 色8激情欧美成人久久综合电| 精品久久久久久无码中文字幕| 思思久久99热免费精品6| 久久精品成人免费看| 精品久久无码中文字幕| 精品久久久久中文字幕日本| 久久亚洲精品人成综合网| 午夜久久久久久禁播电影| 久久夜色精品国产噜噜噜亚洲AV | 日本免费久久久久久久网站| 亚洲精品高清国产一线久久| 热综合一本伊人久久精品 | 久久国内免费视频| 久久99国产精品久久| 精品国产VA久久久久久久冰| 99麻豆久久久国产精品免费| 2022年国产精品久久久久| 久久99精品国产一区二区三区 | 久久精品国产免费| 久久99毛片免费观看不卡| 色综合久久综合网观看| 99久久人人爽亚洲精品美女| 久久影院午夜理论片无码| 亚洲伊人久久综合影院| 久久亚洲日韩精品一区二区三区 | 色偷偷888欧美精品久久久| 久久综合综合久久97色| 精品国产热久久久福利| 久久无码专区国产精品发布| 欧美一区二区三区久久综合| 日本精品久久久久中文字幕| 怡红院日本一道日本久久| 久久99精品久久久久久野外| 久久久久久久久久久| 国产成人精品久久| 国产A级毛片久久久精品毛片| 久久er热视频在这里精品|