青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

勤能補拙,Expter

成都游戲Coder,記錄游戲開發過程的筆記和心得!

基于策略的一種高效內存池的實現

一.XXX
      1)概念說明
          這里不再具體描述內存池的概念和作用,需要了解請看http://baike.baidu.com/view/2659852.htm?fr=ala0_1_1。

      2)描述
         在開發一個長時間運行的服務器程序時,一般頻繁的向操作系統動態申請內存,而采用堆new分配,速度較慢,而且如果一個程序頻繁的申請小內存塊,很容易產生內存碎片,每次查找相對較慢。
        因為堆是向高地址擴展的數據結構,每次內存分配其實都是進行虛擬內存分配,都會建立虛擬內存的到物理內存的映射,而是分配的一種不連續的內存區域,由于系統是用鏈表來存儲的空閑內存地址的,而鏈表的遍歷方向是由低地址向高地址。     
       這里還有一篇關于關于頻繁的內存分配性能分析 ,圖文并茂的講得很詳細。
     
      3)實現目標. 
       而設計內存池的目的是為了保證一個程序長時間高效的運行,而該程序對內存申請頻繁,為了減少系統內存碎片的產生,合理分配管理用戶內存,從而減少系統中出現有效空間足夠,而無法分配大塊連續內存的情況。

         關于實現一個高效與穩定內存池模塊有如下目標:
         A.如何實現內存的快速分配
         B.如何實現內存的快速釋放
         C.如何管理內存池的穩定與效率.  
         注:本文介紹的內存池管理效率相對較高,且可以針對任意大小內存分配.... 

  二.設計
      設計前我們假設內存申請很頻繁,而且申請小于在5120byte的遠遠大于5120byte字節。
  
      為了讓設計的內存池的使用更具有通用型和高效性,這里大致介紹通過需求不同指定一種基于內存需求策略的方式設計出一種內存池。   
      及小于5120字節的采用小塊內存分配,大于5120的通過操作系統分配,內存池管理.

      此內存池包括2中分配方式,介紹分配如下:
      1)  個數固定的不定長的靜態內存分配(BlockPool)。           
       A.設計思路
      這種主要是根據程序中不同對象的大小而指定的一種策略,對于每一種大小又是通過一個鏈表鏈表管理,每個鏈表的節點的內存大小不同,而為了方便內存的管理,一般在程序初始化的時候針對不同的策略大小分配一塊內存塊,然后把此內存塊劃分為多個節點保存到鏈表中,每一個鏈表中保存的將是空閑的節點。
      
       B.基本數據結構  

 基本數據結構:
       
/// 指定的策略
       enum eBuff_Type
{
    eBT_32 
=0,
    eBT_64,
    eBT_128,
    eBT_256,
    eBT_512,
    eBT_1024,
    eBT_2048,
    eBT_5120,

    eBT_END,
}
;

  /// 定一個雙向鏈表的節點2個指針   

/// 
///  file  BaseNode.h
///  brief 一個雙向鏈表需要的前后指針節點
/// 

 
#pragma  once 
template 
< typename  T >
class  CNode
{
    typedef  T  Node;
public:
    Node
*    next;
    Node
*   prev;

    CNode()
    
{
        next 
= prev = NULL;
    }

}
;
/// 節點
struct  Buffer: CNode<Buffer>
{
    eBuff_Type   type;
}
;

/// 不同大小的數據節點.

struct Buffer32 :  Buffer {    char buf[32];   };
struct Buffer64 :  Buffer {    char buf[64];   };
struct Buffer128 : Buffer {    char buf[128];  };
struct Buffer256 : Buffer {    char buf[256];  };
struct Buffer512 : Buffer {    char buf[512];  };
struct Buffer1024: Buffer {    char buf[1024]; };
struct Buffer2048: Buffer {    char buf[2048]; };
struct Buffer5120: Buffer {    char buf[5120]; };

 

///TlinkedList為一個鏈表
///這里包括eBT_END數組

TlinkedList<Buffer>  m_MemPool[eBT_END];


   m_MemPool主要結構圖如下:
     
               
       C.性能分析
          分配
            這里策略只是針對小于eBT_5120Byte的內存進行分配,根據傳入的大小直接Hash利用m_MemPool[idx]返回鏈表頭,返回Buffer節點的buf數據塊。
          釋放:根據傳入要釋放的Mem內存地址     

 /// 獲得偏移地址
Buffer* buf = (Buffer_Face*)( (char*)Mem - offsetof(Buffer_Face,buf) );

             通過偏移地址即可獲得buf的地址,buf里面包括type獲得m_MemPool的索引,然后把釋放的節點重新Push到m_MemPool[type]中。
        
          性能: 插入,分配都是0(1)


     2)  完全動態分配內存(HeapPool)。
          介紹了上面的靜態內存分配,其實是在利用已經分配好了的內存塊里面在進行查找,釋放也是直接根據傳入的直接直接保存到緩存表中。
           A.介紹下需要的基本數據結構

struct  listNode : CNode<listNode>
    
{
        
long  size;
        
/// 指向的內存
        char* ptr;
    }
;
    
struct  HeapNode
    
{    
        
/// memory request rate
        __int64              m_Count;
        
/// all free memory list
        TlinkedList<listNode> m_FreeList;
        
/// using memory list
        TlinkedList<listNode> m_Used;
        HeapNode( )
        
{
            m_Count 
= 0 ;
            m_FreeList.ReleaseList();
            m_Used.ReleaseList();
        }

    }
;

         typedef std::map<unsigned long,HeapNode* > MHEAPLIST;  /// 其中map的key是分配的大小。
         HeapNode的結構圖如下:
              
            B.設計思路
                 根據策略程序一般大于5120Byte字節的相對比較少,而程序請求大小也是相對比較規則,散列不是太大。
                 HeapNode有2個鏈表m_FreeList和m_Used,其中鏈表的節點如圖ListNode所示
                 listNode有一個ptr表示需要配的內存,ptr指向的前8個地址為listnode的地址值(根據Cpu的最大尋址為64位),ptr+8則是分配的內存地址,為什么這么設計呢?
                我是這樣想的外界使用內存空間為data區域,那么我們釋放的時候的只是需要傳入data的地址,即可通過求出listnode的地址,    

/// 根據MemAddr的地址求listnode地址
__int64   pAddr = *(__int64*)((char*)MemAddr-8);
listNode
* pNode =  (listNode*)pAddr;

               得到listNode地址后即可進行找到對應的HeapNode,然后進行釋放或者放入緩存列表的操作。              
               關于HeapNode的管理,為了節約內存我們不可能一直申請內存而不釋放,所以我們約定m_FreeList只是保存m_Used中一半大小的結點。當m_FreeList過多的節點時需要釋放一定空間。(這個約定可以根據不同的需求而制定).

               上面介紹了為什么如此的設計這個數據結構,下面介紹分配策略。分配的時候先查找是否有緩存數據,沒有則分配一個,否則直接返回m_FreeList的一個listNode(結點)的ptr+8;
               

            C.性能分析
                 通過上面描述可以確定基于完全動態分配的效率
                 分配的時候  lg(n);
                 釋放的時候 lg(n);
                而map的查找基于AVL樹,所以查找基本是常量型的。               
 
  三.實現
      上面只是介紹了分配方式,下面介紹實現。
       通過上面描述可知,對于大于5120byte的內存分配采用HeapPool分配,否則采用BlockPool分配。
       為了方便外界使用我們使用一個CMemFactory內存分配工廠,通過使用者申請Size和釋放pAddr即可快速進行分配和釋放。

  代碼如下:
       http://code.google.com/p/tpgame/source/browse/#svn/trunk/MemPool/MemPool

 具體代碼打包如下:     
     /Files/expter/Pool.rar
       

注:如需了解跟多的內存池是實現可以閱讀STL SGI,  Loki,  Boost內存池的實現...


附帶最新內存池,實現和介紹...
http://www.shnenglu.com/expter/archive/2011/01/18/138787.html

posted on 2010-04-14 23:23 expter 閱讀(5505) 評論(11)  編輯 收藏 引用 所屬分類: 其他學習筆記工作筆記 、算法與數據結構 、Ai

評論

# re: 基于策略的一種高效內存池的實現 2010-04-15 08:45 ccsdu2009

不錯  回復  更多評論   

# re: 基于策略的一種高效內存池的實現[未登錄] 2010-04-15 09:04 Megax

你這個內存池本身的數據結構就不夠優化。一些數據本身就是可以放在內存池中的Data塊的。另外也不知道你為什么選擇5120,我記得windows的也內存是4KB.還有你的查找居然是用Map....而且是對指針進行Hash.
Loki當中有一個讓人嘆為觀止的內存池實現,建議你看看,極其小巧與精致。  回復  更多評論   

# re: 基于策略的一種高效內存池的實現 2010-04-15 09:08 expter

@Megax
map的key是long,不知道哪兒用了指針類型。
我的第一種實現方式就是借鑒loki庫...  回復  更多評論   

# re: 基于策略的一種高效內存池的實現 2010-04-15 10:57 欣萌

有個疑問 為什么是5120

是不是太大了啊。  回復  更多評論   

# re: 基于策略的一種高效內存池的實現 2010-04-15 11:24 expter

@欣萌
這個根據不同的程序需求而不同,可以指定不同的策略。  回復  更多評論   

# re: 基于策略的一種高效內存池的實現 2010-04-17 01:58 qiaojie

不會使用free list數據結構的memory pool都是垃圾  回復  更多評論   

# re: 基于策略的一種高效內存池的實現 2010-04-17 03:09 欲三更

mempool大概就是這樣子吧, 我應該寫不出這么好:)

但是: 1. 如果我要申請的是8字節這么大的內存, 那么內存浪費的比率就非常之大!
2. struct Buffer: CNode<Buffer>
{
eBuff_Type type;
};

就說這個結構, 就為了記錄一個大小, 每個對象里都要存儲一個變量, 不覺得浪費么?  回復  更多評論   

# re: 基于策略的一種高效內存池的實現 2010-04-17 03:10 欲三更

@qiaojie
要是人家不用list呢?  回復  更多評論   

# re: 基于策略的一種高效內存池的實現 2010-04-17 09:48 expter

@欲三更
記錄大小是為了用空間換一次查找的過程。。
如果我們只需要傳入內存地址,那么可以通過偏移地址即可得到eBuff_Type type,直接可以得到存儲索引進行內存釋放。  回復  更多評論   

# re: 基于策略的一種高效內存池的實現 2010-04-17 18:58 欲三更

@expter
我知道你是這個意思, 但還是覺得太奢侈了.
反正你只把相同尺寸的Buffer連在一起, 能不能這樣簡單點搞搞?:

template <size_t s>
struct Buffer
{
----static size_t Size;
----union
----{
--------struct
--------{
------------Buffer<s> *pNext;
------------Buffer<s> *pPrevious;
--------}p;
--------char m_pBuf[s];
----}
};

然后模板顯式實例化順便把靜態成員也賦上值.  回復  更多評論   

# re: 基于策略的一種高效內存池的實現 2012-01-20 13:15 灰兔

@qiaojie
apr_pool_t呢?~ ~~  回復  更多評論   

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            国产精品成人一区二区网站软件| 欧美日韩免费高清一区色橹橹| 亚洲综合社区| 免费成人高清| 欧美成人情趣视频| 在线免费观看日本一区| 久久亚洲国产成人| 欧美凹凸一区二区三区视频| 在线不卡免费欧美| 久久亚洲春色中文字幕久久久| 免费看黄裸体一级大秀欧美| 亚洲电影第1页| 久久在线视频| 亚洲韩国精品一区| 日韩一级黄色大片| 欧美视频免费在线观看| 宅男精品导航| 欧美在线观看一二区| 狠狠久久五月精品中文字幕| 美女国产一区| 亚洲精品中文字幕在线| 亚洲欧美日韩另类| 在线看片成人| 欧美精品国产| 亚洲午夜免费视频| 麻豆久久婷婷| 夜夜嗨一区二区三区| 国产精品永久入口久久久| 久久精品道一区二区三区| 亚洲精品国产精品国自产在线 | 亚洲精品日韩一| 欧美激情一区二区三区在线视频| 日韩图片一区| 午夜精品剧场| 红桃视频欧美| 欧美日韩一区二区视频在线观看| 午夜精品久久久久久久99热浪潮| 国产精品高潮视频| 一本大道av伊人久久综合| 久久精品99久久香蕉国产色戒| 亚洲人成人一区二区三区| 欧美亚洲第一区| 久久亚洲午夜电影| 午夜激情综合网| 最新国产拍偷乱拍精品| 久久久久.com| 亚洲性线免费观看视频成熟| 伊人久久大香线蕉av超碰演员| 国产精品成人一区二区| 欧美不卡激情三级在线观看| 欧美一区二区视频在线| 亚洲视频在线观看免费| 亚洲免费观看视频| 欧美大片在线观看一区| 久久国产精品毛片| 欧美一区二区高清在线观看| 在线视频欧美日韩精品| 亚洲国产精品激情在线观看| 国产性色一区二区| 国产精品久久久久999| 欧美激情一区二区久久久| 久久在线播放| 久久久久成人精品免费播放动漫| 亚洲性感美女99在线| 一区二区三区国产精华| 亚洲伦理在线观看| 99精品热视频| 亚洲免费观看视频| 日韩网站在线| 日韩视频精品| 一区二区三区.www| 一区二区三区四区国产精品| 亚洲毛片在线| 99视频有精品| 一本色道精品久久一区二区三区| 亚洲麻豆一区| aa成人免费视频| 99热在这里有精品免费| 一本一本久久a久久精品综合麻豆 一本一本久久a久久精品牛牛影视 | 欧美韩国日本综合| 欧美成人自拍| 欧美另类视频| 欧美日韩国产区一| 国产精品老牛| 国产亚洲欧洲一区高清在线观看 | 欧美一区二区三区免费大片| 久久久噜噜噜久久| 亚洲免费观看高清完整版在线观看| 亚洲欧洲一区二区三区在线观看| 亚洲精品一区二区三区av| 亚洲黄色视屏| 一区二区三欧美| 亚洲欧美日韩国产综合在线| 欧美制服第一页| 麻豆免费精品视频| 欧美先锋影音| 国产一区二区在线免费观看| 亚洲高清色综合| 在线亚洲欧美专区二区| 欧美一区二区三区在线视频| 美女尤物久久精品| 日韩视频中午一区| 性高湖久久久久久久久| 欧美**人妖| 欧美色区777第一页| 国产亚洲精品久久久久婷婷瑜伽 | 欧美激情亚洲自拍| 亚洲日韩视频| 亚洲欧美一区在线| 欧美sm视频| 国产精品尤物| 亚洲精品国产欧美| 久久久久久香蕉网| 日韩亚洲精品视频| 老鸭窝91久久精品色噜噜导演| 国产精品国产精品国产专区不蜜| 在线免费观看视频一区| 午夜精品免费在线| 91久久国产综合久久91精品网站| 亚洲已满18点击进入久久| 麻豆成人综合网| 国产亚洲激情| 一二三区精品| 免费看亚洲片| 亚洲欧美国产制服动漫| 欧美日韩性视频在线| 亚洲国产视频一区二区| 久久久久久久久综合| 亚洲天堂免费观看| 欧美日韩国产一中文字不卡| 亚洲电影成人| 久久婷婷久久一区二区三区| 亚洲影视综合| 欧美日韩在线免费视频| 亚洲老板91色精品久久| 欧美成人嫩草网站| 久久综合狠狠综合久久激情| 国内综合精品午夜久久资源| 欧美一区二区高清| 亚洲欧美日韩一区| 国产精品国产三级欧美二区| 美女主播视频一区| 99re视频这里只有精品| 欧美成人精品福利| 在线观看91精品国产麻豆| 久久不射中文字幕| 亚洲一区视频在线观看视频| 欧美亚韩一区| 中文av字幕一区| 亚洲精品国产精品国自产观看| 蜜月aⅴ免费一区二区三区 | 久久影音先锋| 亚洲欧美国产高清| 国产亚洲综合性久久久影院| 久久久久久久波多野高潮日日| 欧美一区二区在线免费观看| 国产在线乱码一区二区三区| 麻豆精品在线视频| 欧美多人爱爱视频网站| 一区二区高清| 一本大道久久精品懂色aⅴ| 国产精品qvod| 欧美一区二区| 欧美在线日韩在线| 亚洲福利视频一区二区| 亚洲精品一二区| 国产精品成人一区二区| 久久久福利视频| 老色鬼精品视频在线观看播放| 亚洲精品久久7777| 一区二区高清在线观看| 国产亚洲欧洲一区高清在线观看| 欧美aa在线视频| 欧美国产一区二区三区激情无套| 亚洲一二三区精品| 欧美在线免费一级片| 亚洲免费观看| 亚洲欧美久久久久一区二区三区| 黄色亚洲大片免费在线观看| 亚洲国产天堂久久国产91| 国产精品理论片| 免费日本视频一区| 国产精品成人一区二区网站软件 | 国产一区二区福利| 牛牛国产精品| 国产精品v欧美精品v日韩 | 国产农村妇女精品一区二区| 久久亚洲精品视频| 欧美午夜免费电影| 欧美多人爱爱视频网站| 国产精品欧美日韩一区| 亚洲电影观看| 国产精品一区二区久久久久| 亚洲国产mv| 欧美性猛交xxxx乱大交蜜桃| 亚洲国产精品尤物yw在线观看| 性18欧美另类| 久久亚洲影音av资源网| 性色av一区二区三区红粉影视| 葵司免费一区二区三区四区五区|