青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

我執分別心

除了自己還有誰

怎么實現釋放和分配時間復雜度都為常數(O(1))的內存池

以前在一個高性能的場合,需要十分頻繁的使用臨時緩存。由于所需的緩存大小我事先知道,所以我索性開了一塊全局緩存,不要罵我土,它背后可以一個崇高的設計哲學:奧坎姆的剃刀。
不過,后邊我越看越惡心,越看越想吐,于是就想實現一個分配和釋放都為常數時間的MemPool. 雖然內存池是一個老得不老再老的話題,但是我并沒有找到一個能達到我要求的設計。
雖然我對C++的任何細節都毫不知情,不過還是免為其難的寫了一個有諸多缺陷的XMemPool。

先說下大致思路:
1 POOL將分配劃分成兩種情況,小緩存分配,大緩存分配。小于4K的我把它當成小緩存。小緩存塊BlockSize按8字節步長增長,大塊默認按4K步長增長。每種Size的塊用兩個鏈表進行管理(free & used)。
2 分配。要是size超過了最大能分配的大小或者池容量超過限制就直接調用系統分配。計算相應塊的index(如果是調用系統分配的index會置為-1), 把free list第一個結點移到used list的第一個結點
3 釋放。 如果塊的index為-1直接delete。將要釋放的塊直接移動到free list的第一個結點。

這樣的話缺點也是相當明顯的:
1 用戶必要從Block獲取緩存
2 用戶非常有必要對緩存大小事先按需求進行合理估計。

 1#ifndef _X_MEM_POOL_H_
 2#define _X_MEM_POOL_H_
 3
 4//! (1)alloc:O(1)
 5//! (2)free :O(1)
 6//! (3)not thread safe
 7
 8class XMemPool;
 9class XMemBlock
10{
11public:
12    XMemBlock( const int& index, const size_t& size ):
13      _index( index ),
14      _next( 0 ),
15      _pre( 0 ),
16      _size( size )
17    {
18        _data = new char[size];
19    }

20    ~XMemBlock()
21    {
22        delete []_data;
23    }

24
25public:
26    friend class XMemPool;
27    template<class T>
28    T* getMem() const return (T*)_data; }
29
30private:
31    const int    _index;
32    const size_t _size;
33    char        *_data;
34    XMemBlock  *_next;
35    XMemBlock  *_pre;
36}
;
37
38const size_t S_MEM_THRE        = 4096;//4K
39const size_t S_POOL_STEP       = 8;
40const size_t LARGE_POOL_STEP   = 4096;//4K
41const size_t SMAX_SUB_POOL_CAP = 128;
42const size_t LMAX_SUB_POOL_CAP = 64;
43
44class XMemPool
45{
46public:
47    /* 
48    maxBlockSize 此內存池能分配的最大的內存
49    maxSubPoolCapability 每個子內存池的最大容量
50    poolXep 相鄰子內存池之間的BlockSize的差距,即每個子內存池大小為poolXep的整數倍
51
52    這里小塊的容量,大小寫死了的,只有大塊的可以配置
53    */

54    XMemPool( const size_t& maxBlockSize, const size_t& lmaxSubPoolCapability = LMAX_SUB_POOL_CAP,\
55        const size_t& lpoolXep = LARGE_POOL_STEP );
56    ~XMemPool();
57public:
58    XMemBlock *alloc( size_t size );
59    void free( XMemBlock* block );
60    void destroy();
61    size_t getTotalMemSize() const return _totalMemSize; };
62
63private:
64    const size_t _maxBlockSize;  //最大能分配的內存塊
65    const size_t _lmaxSubPoolCapability; //每種塊的最大小數(大塊)
66    static const size_t\
67                 _smaxSubPoolCapability = SMAX_SUB_POOL_CAP;//每種塊的最大小數(小塊)
68    const size_t _lpoolXep; //大塊的增長步長
69    static const size_t\
70                 _spoolXep = S_POOL_STEP; //小塊的步長
71    XMemBlock **_ssubPool[2];//0:free 1:used 小塊的鏈表數組
72    XMemBlock **_lsubPool[2];//大塊的鏈表數組
73    size_t       _ssubPoolNum;//小塊的種類個數
74    size_t       _lsubPoolNum;//大塊的種類個數
75    size_t      *_lsubPoolSize;//每種size大塊的個數
76    size_t      *_ssubPoolSize;//每種size小塊的個數
77    size_t       _totalMemSize;//內存池總容量
78}
;
79
80#endif

 

  1XMemPool::XMemPool( const size_t& maxBlockSize, const size_t& lmaxSubPoolCapability, const size_t& lpoolXep ):\
  2_maxBlockSize( maxBlockSize ),
  3_lmaxSubPoolCapability( lmaxSubPoolCapability ),
  4_lpoolXep( lpoolXep )
  5{
  6    _ssubPoolNum = ( S_MEM_THRE + _spoolXep - 1 ) / _spoolXep;
  7    _lsubPoolNum = ( _maxBlockSize + _lpoolXep - 1 ) / _lpoolXep;
  8    _totalMemSize = 0;
  9    _ssubPoolSize = new size_t[_ssubPoolNum];
 10    _lsubPoolSize = new size_t[_lsubPoolNum];
 11    _ssubPool[0= new XMemBlock*[_ssubPoolNum];
 12    _ssubPool[1= new XMemBlock*[_ssubPoolNum];
 13    forint i = 0; i < _ssubPoolNum; i++ )
 14    {
 15        _ssubPool[0][i] = 0;
 16        _ssubPool[1][i] = 0;
 17        _ssubPoolSize[i] = 0;
 18    }

 19    _lsubPool[0= new XMemBlock*[_lsubPoolNum];
 20    _lsubPool[1= new XMemBlock*[_lsubPoolNum];
 21    forint i = 0; i < _lsubPoolNum; i++ )
 22    {
 23        _lsubPool[0][i] = 0;
 24        _lsubPool[1][i] = 0;
 25        _lsubPoolSize[i] = 0;
 26    }

 27}

 28
 29XMemBlock* XMemPool::alloc( size_t size ) //byte unit
 30{
 31    if( size <= S_MEM_THRE )
 32    {
 33        size_t idx = ( size + _spoolXep - 1 ) / _spoolXep - 1;
 34        XMemBlock *block = 0;
 35        if( _ssubPool[0][idx] )
 36        {
 37            block = _ssubPool[0][idx];
 38            _ssubPool[0][idx] = block->_next;
 39            if( _ssubPool[1][idx] )
 40                _ssubPool[1][idx]->_pre = block;
 41            block->_next = _ssubPool[1][idx];
 42            _ssubPool[1][idx] = block;
 43            _ssubPool[1][idx]->_pre = 0;
 44            return block;
 45        }

 46        else if( _ssubPoolSize[idx] < _smaxSubPoolCapability )
 47        {
 48            size_t msize = (idx + 1)*_spoolXep;
 49            _totalMemSize += msize;
 50            block = new XMemBlock( idx, msize );
 51            _ssubPoolSize[idx]++;
 52            if( _ssubPool[1][idx] )
 53                _ssubPool[1][idx]->_pre = block;
 54            block->_next = _ssubPool[1][idx];
 55            _ssubPool[1][idx] = block;
 56            return block;
 57        }

 58    }

 59    else if( size <= _maxBlockSize )
 60    {
 61        size_t idx = ( size + _lpoolXep - 1 ) / _lpoolXep - 1;
 62        XMemBlock *block = 0;
 63        if( _lsubPool[0][idx] )
 64        {
 65            block = _lsubPool[0][idx];
 66            _lsubPool[0][idx] = block->_next;
 67            if( _lsubPool[1][idx] )
 68                _lsubPool[1][idx]->_pre = block;
 69            block->_next = _lsubPool[1][idx];
 70            _lsubPool[1][idx] = block;
 71            _lsubPool[1][idx]->_pre = 0;
 72            return block;
 73        }

 74        else if( _lsubPoolSize[idx] < _lmaxSubPoolCapability )
 75        {
 76            size_t msize = (idx + 1)*_lpoolXep;
 77            _totalMemSize += msize;
 78            block = new XMemBlock( idx, msize );
 79            _lsubPoolSize[idx]++;
 80            if( _lsubPool[1][idx] )
 81                _lsubPool[1][idx]->_pre = block;
 82            block->_next = _lsubPool[1][idx];
 83            _lsubPool[1][idx] = block;
 84            return block;
 85        }

 86    }

 87
 88     return (new XMemBlock( -1, size ));
 89}

 90
 91void XMemPool::free( XMemBlock *block )
 92{
 93    if( block->_index < 0 )
 94    {
 95        delete block;
 96        return;
 97    }

 98    if( block->_size <= S_MEM_THRE )
 99    {
100        if( block->_next )
101            block->_next->_pre = block->_pre;
102        if( block->_pre )
103            block->_pre->_next = block->_next;
104        else if!block->_next && !block->_pre )
105            _ssubPool[1][block->_index] = 0;
106        block->_next = _ssubPool[0][block->_index];
107        if( _ssubPool[0][block->_index] )
108            _ssubPool[0][block->_index]->_pre = block;
109        _ssubPool[0][block->_index] = block;
110    }

111    else
112    {
113        if( block->_next )
114            block->_next->_pre = block->_pre;
115        if( block->_pre )
116            block->_pre->_next = block->_next;
117        else if!block->_next && !block->_pre )
118            _lsubPool[1][block->_index] = 0;
119        block->_next = _lsubPool[0][block->_index];
120        if( _lsubPool[0][block->_index] )
121            _lsubPool[0][block->_index]->_pre = block;
122        _lsubPool[0][block->_index] = block;
123    }

124}

125
126void XMemPool::destroy()
127{
128    forint i = 0; i < _ssubPoolNum; i++ )
129    {
130        XMemBlock *block = _ssubPool[0][i], *tmp;
131        while( block )
132        {
133            tmp = block->_next;
134            delete block;
135            block = tmp;
136        }

137        _ssubPool[0][i] = 0;
138
139        block = _ssubPool[1][i];
140        while( block )
141        {
142            tmp = block->_next;
143            delete block;
144            block = tmp;
145        }

146        _ssubPool[1][i] = 0;
147        _ssubPoolSize[i] = 0;
148    }

149    forint i = 0; i < _lsubPoolNum; i++ )
150    {
151        XMemBlock *block = _lsubPool[0][i], *tmp;
152        while( block )
153        {
154            tmp = block->_next;
155            delete block;
156            block = tmp;
157        }

158        _lsubPool[0][i] = 0;
159
160        block = _lsubPool[1][i];
161        while( block )
162        {
163            tmp = block->_next;
164            delete block;
165            block = tmp;
166        }

167        _lsubPool[1][i] = 0;
168        _lsubPoolSize[i] = 0;
169    }

170}

171
172XMemPool::~XMemPool()
173{
174    destroy();
175    delete []_ssubPoolSize;
176    delete []_lsubPoolSize;
177    delete []_ssubPool[0];
178    delete []_ssubPool[1];
179    delete []_lsubPool[0];
180    delete []_lsubPool[1];
181}

 

1XMemPool samplePool(4096);
2XMemBlock *sampleBlock = samplePool.alloc(sizeof(int)*100);
3int *sampleData = sampleBlock->getMem<int>();
4samplePool.free(sampleBlock);



很多細節還沒考慮到,誰能為我推薦一個好的設計方案?雙O(1)的

posted on 2012-03-16 14:32 我執分別心 閱讀(1554) 評論(11)  編輯 收藏 引用

評論

# re: 怎么實現釋放和分配時間復雜度都為常數(O(1))的內存池[未登錄] 2012-03-16 16:54 hdqqq

在alloc和free中看到了new和delete,這種分配不會是o(1)的。  回復  更多評論   

# re: 怎么實現釋放和分配時間復雜度都為常數(O(1))的內存池 2012-03-16 17:00 我執分別心

@hdqqq
沒有認真看代碼吧, 只是內存池滿了OR請求大小超過上限才會new delete
當然內存池沒有預分配,是逐步增長的  回復  更多評論   

# re: 怎么實現釋放和分配時間復雜度都為常數(O(1))的內存池 2012-03-16 18:53 陳梓瀚(vczh)

我以前也做過類似的。首先一個好的小尺寸緩存池可以O(1)new和delete這個顯然你已經知道怎么做了,然后準備8 16 32 64各種尺寸,最后用平衡樹組織起來。雖然這嚴格來算不是O(1),但是經驗下他是O(1)的——只要你不要讓節點有幾十個那么多。至于大尺寸的,是沒辦法的。  回復  更多評論   

# re: 怎么實現釋放和分配時間復雜度都為常數(O(1))的內存池 2012-03-16 19:06 我執分別心

@陳梓瀚(vczh)
我實現的這個雖然有缺陷,但在我的使用范圍內,確實是嚴格O(1)的。如果要用到HASH或樹之類的就是lg(n)的了。 SIZE按冪次增長我也想過,那樣的話空間浪費厲害,不過跨度比較大的話確實可以考慮  回復  更多評論   

# re: 怎么實現釋放和分配時間復雜度都為常數(O(1))的內存池 2012-03-16 19:11 陳梓瀚(vczh)

@我執分別心
不定尺寸池嚴格O(1)是不可能的,我不知道我有沒有理解錯你的意思,反正大概就是這個意思了,如果你要對付那些頻繁new和delete的場景的話。  回復  更多評論   

# re: 怎么實現釋放和分配時間復雜度都為常數(O(1))的內存池 2012-03-16 19:24 我執分別心

@陳梓瀚(vczh)
為什么不可能呢? 我這兒的實現其實很簡單,關鍵是用block里面的index,它的本質是一個O(1)的HASH, 這樣的代價就是創建pool的時候: 非常有必要對緩存大小事先按需求進行合理估計。  回復  更多評論   

# re: 怎么實現釋放和分配時間復雜度都為常數(O(1))的內存池 2012-03-16 21:09 yrj

http://git.savannah.gnu.org/cgit/lwip.git/tree/src/core/memp.c  回復  更多評論   

# re: 怎么實現釋放和分配時間復雜度都為常數(O(1))的內存池 2012-03-17 03:53 陳梓瀚(vczh)

@我執分別心
不要以為hash就真的是O(1)的,還記得之前很多語言的hashtable被用來做DDOS的事情嗎?  回復  更多評論   

# re: 怎么實現釋放和分配時間復雜度都為常數(O(1))的內存池 2012-03-17 09:25 我執分別心

@陳梓瀚(vczh)
size_t idx = ( size + _lpoolXep - 1 ) / _lpoolXep - 1; 它是O(1)不?  回復  更多評論   

# re: 怎么實現釋放和分配時間復雜度都為常數(O(1))的內存池 2012-03-17 09:29 tb

厲害  回復  更多評論   

# re: 怎么實現釋放和分配時間復雜度都為常數(O(1))的內存池[未登錄] 2012-03-19 08:54 Chipset

小的容易做到,boundary tags, bitmap, freelist都行,大的需要比較復雜的數據結構,建議用PTrie,你可以參考下DLMalloc,谷歌下。

如果多處理器并行環境,那就非常困難了,傳統的并發控制機制會成為瓶頸,還要小心False sharing, blowup...,你可以參考下JeMalloc,谷歌下。  回復  更多評論   


只有注冊用戶登錄后才能發表評論。
網站導航: 博客園   IT新聞   BlogJava   博問   Chat2DB   管理


導航

<2012年3月>
26272829123
45678910
11121314151617
18192021222324
25262728293031
1234567

統計

常用鏈接

留言簿

隨筆檔案

文章分類

最新隨筆

搜索

最新評論

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            最新亚洲电影| 亚洲系列中文字幕| 久久夜色精品一区| 欧美日韩一区在线| 男女激情视频一区| 国产欧美日韩免费看aⅴ视频| 亚洲国产片色| 国产日韩欧美一区二区三区四区| 亚洲三级免费| 亚洲国产精品久久久久| 欧美一进一出视频| 亚洲欧美bt| 欧美日韩久久久久久| 亚洲黄色视屏| 亚洲九九爱视频| 可以看av的网站久久看| 久久精品日韩欧美| 国产片一区二区| 午夜精品www| 欧美一区二区三区婷婷月色| 国产精品xnxxcom| 一区二区三区视频在线看| 中文久久乱码一区二区| 欧美区在线观看| 日韩亚洲一区在线播放| 中文国产一区| 国产精品免费在线| 午夜精彩视频在线观看不卡| 久久精品中文字幕一区| 国产一级揄自揄精品视频| 久久av红桃一区二区小说| 久久久久一区二区三区| 在线观看视频亚洲| 欧美va天堂va视频va在线| 亚洲先锋成人| 一区二区三区免费看| 欧美色视频一区| 亚洲先锋成人| 久久久亚洲国产天美传媒修理工 | 欧美成人免费在线视频| 亚洲高清不卡一区| aaa亚洲精品一二三区| 欧美日韩性生活视频| 亚洲网站在线| 久久精品99无色码中文字幕 | 在线观看日韩欧美| 欧美高清在线| 中文欧美字幕免费| 久久精品官网| 亚洲精品中文字幕在线| 国产精品久久久久av免费| 亚洲一区二区日本| 久久理论片午夜琪琪电影网| 亚洲日本精品国产第一区| 欧美日韩中文| 欧美专区日韩专区| 亚洲精品色图| 久久久久久久网| 日韩视频在线一区二区| 国产精品入口麻豆原神| 久久综合图片| 亚洲影院在线观看| 欧美黑人在线观看| 欧美一级理论性理论a| 亚洲国产专区| 性色av一区二区怡红| 欧美国产欧美亚州国产日韩mv天天看完整| 亚洲精品资源| 久久精品一区二区三区中文字幕| 亚洲韩国日本中文字幕| 国产精品免费网站| 欧美mv日韩mv亚洲| 欧美在线视频一区二区三区| 亚洲精品一区中文| 六月天综合网| 欧美专区一区二区三区| 99在线精品观看| 在线电影国产精品| 国产欧美一区二区白浆黑人| 欧美日本一区| 欧美18av| 久久青草欧美一区二区三区| 亚洲影视综合| 中文国产亚洲喷潮| 亚洲三级电影全部在线观看高清| 久久久99免费视频| 午夜在线电影亚洲一区| 99亚洲伊人久久精品影院红桃| 在线精品国产欧美| 国产亚洲精品久久久久久| 国产精品国产三级国产普通话三级 | 99国产精品久久久久久久久久 | 亚洲欧美一区二区精品久久久| 亚洲国产日韩一级| 欧美激情欧美激情在线五月| 国产欧美三级| 国产精品日本精品| 欧美日韩在线一区二区| 欧美精品99| 欧美韩日一区二区三区| 玖玖综合伊人| 鲁大师成人一区二区三区| 欧美有码在线视频| 午夜欧美大片免费观看| 亚洲一区二区三区精品视频| 日韩一级免费| 亚洲美女在线看| 亚洲伦伦在线| 日韩午夜在线| 宅男66日本亚洲欧美视频| 夜夜爽99久久国产综合精品女不卡| 亚洲经典视频在线观看| 亚洲人成网站在线观看播放| 亚洲激情国产| 日韩亚洲欧美高清| 亚洲精品日韩久久| 一本到高清视频免费精品| 亚洲免费av网站| 一级日韩一区在线观看| 亚洲一区二区不卡免费| 性色一区二区三区| 久久久久中文| 麻豆乱码国产一区二区三区| 欧美成熟视频| 国产精品jizz在线观看美国| 国产精品视频网站| 禁断一区二区三区在线| 亚洲激情在线播放| 亚洲视频在线一区观看| 久久9热精品视频| 免费在线欧美视频| 亚洲精品一区二| 亚洲一区欧美一区| 国内精品久久久久影院 日本资源 国内精品久久久久伊人av | 亚洲一区二区免费视频| 欧美一区二区成人| 欧美77777| 国产精品国内视频| 精品不卡视频| 亚洲视频在线免费观看| 久久riav二区三区| 亚洲国产精品国自产拍av秋霞| 日韩亚洲精品在线| 久久精品国产精品| 欧美日本久久| 黄网站色欧美视频| 一区二区三区不卡视频在线观看| 香蕉尹人综合在线观看| 欧美国产视频在线观看| 亚洲一区二区黄色| 欧美a一区二区| 国产精品私房写真福利视频| 在线观看亚洲a| 亚洲桃色在线一区| 欧美不卡福利| 日韩亚洲欧美成人一区| 久久免费观看视频| 国产九区一区在线| 亚洲精品久久久久久久久久久| 性欧美暴力猛交69hd| 亚洲国内欧美| 久久精品国产亚洲a| 欧美午夜视频| 在线精品国产欧美| 久久精品国产96久久久香蕉| 亚洲美女性视频| 蜜桃久久av一区| 国产一区二区三区在线观看网站| 妖精视频成人观看www| 免费成人高清在线视频| 亚洲欧美日韩在线一区| 欧美日本一区二区三区| 一本久久精品一区二区| 久久婷婷综合激情| 亚洲欧美日韩系列| 欧美偷拍一区二区| 99国产精品一区| 麻豆精品视频在线观看| 亚洲欧美日韩国产中文在线| 欧美性做爰猛烈叫床潮| 99ri日韩精品视频| 欧美黄色大片网站| 久久综合五月天婷婷伊人| 国内精品一区二区三区| 欧美在线高清视频| 亚洲欧美色婷婷| 国产精品视频yy9099| 亚洲一区二区三区涩| 99精品福利视频| 欧美日本高清一区| 日韩午夜电影av| 亚洲激情在线观看视频免费| 老司机67194精品线观看| 亚洲第一视频| 校园春色国产精品| 亚洲自拍啪啪| 国产欧美日韩亚洲一区二区三区| 亚洲天堂偷拍| 99国产精品私拍| 国产精品久久久久久久第一福利|