• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            Just enjoy programming

            Nginx的內存池實現(轉載)

            來源:http://www.tbdata.org/archives/1390#more-1390


            Nginx的內存池實現得很精巧,代碼也很簡潔。總的來說,所有的內存池基本都一個宗旨:申請大塊內存,避免“細水長流”。

            一、創建一個內存池

            nginx內存池主要有下面兩個結構來維護,他們分別維護了內存池的頭部和數據部。此處數據部就是供用戶分配小塊內存的地方。

            //該結構用來維護內存池的數據塊,供用戶分配之用。
            typedef struct {
            u_char *last; //當前內存分配結束位置,即下一段可分配內存的起始位置
            u_char *end; //內存池結束位置
            ngx_pool_t *next; //鏈接到下一個內存池
            ngx_uint_t failed; //統計該內存池不能滿足分配請求的次數
            } ngx_pool_data_t;
            //該結構維護整個內存池的頭部信息。
            struct ngx_pool_s {
            ngx_pool_data_t d; //數據塊
            size_t max; //數據塊的大小,即小塊內存的最大值
            ngx_pool_t *current; //保存當前內存池
            ngx_chain_t *chain; //可以掛一個chain結構
            ngx_pool_large_t *large; //分配大塊內存用,即超過max的內存請求
            ngx_pool_cleanup_t *cleanup; //掛載一些內存池釋放的時候,同時釋放的資源。
            ngx_log_t *log;
            };


            有了上面的兩個結構,就可以創建一個內存池了,nginx用來創建一個內存池的接口是:ngx_pool_t *ngx_create_pool(size_t size, ngx_log_t *log)(位于src/core/ngx_palloc.c中);調用這個函數就可以創建一個大小為size的內存池了。這里,我用內存池的結構圖來展 示,就不做具體的代碼分析了。

            ngx_create_pool接口函數就是分配上圖這樣的一大塊內存,然后初始化好各個頭部字段(上圖中的彩色部分)。紅色表示的四個字段就是來自于上 述的第一個結構,維護數據部分,由圖可知:last是用戶從內存池分配新內存的開始位置,end是這塊內存池的結束位置,所有分配的內存都不能超過 end。藍色表示的max字段的值等于整個數據部分的長度,用戶請求的內存大于max時,就認為用戶請求的是一個大內存,此時需要在紫色表示的large 字段下面單獨分配;用戶請求的內存不大于max的話,就是小內存申請,直接在數據部分分配,此時將會移動last指針。

            二、分配小塊內存(size <= max)

            上面創建好了一個可用的內存池了,也提到了小塊內存的分配問題。nginx提供給用戶使用的內存分配接口有:
            void *ngx_palloc(ngx_pool_t *pool, size_t size);
            void *ngx_pnalloc(ngx_pool_t *pool, size_t size);
            void *ngx_pcalloc(ngx_pool_t *pool, size_t size);
            void *ngx_pmemalign(ngx_pool_t *pool, size_t size, size_t alignment);

            ngx_palloc和ngx_pnalloc都是從內存池里分配size大小內存,至于分得的是小塊內存還是大塊內存,將取決于size的大小; 他們的不同之處在于,palloc取得的內存是對齊的,pnalloc則否。ngx_pcalloc是直接調用palloc分配好內存,然后進行一次0初 始化操作。ngx_pmemalign將在分配size大小的內存并按alignment對齊,然后掛到large字段下,當做大塊內存處理。下面用圖形 展示一下分配小塊內存的模型:

            上圖這個內存池模型是由上3個小內存池構成的,由于第一個內存池上剩余的內存不夠分配了,于是就創建了第二個新的內存池,第三個內存池是由于前面兩個內存 池的剩余部分都不夠分配,所以創建了第三個內存池來滿足用戶的需求。由圖可見:所有的小內存池是由一個單向鏈表維護在一起的。這里還有兩個字段需要關 注,failed和current字段。failed表示的是當前這個內存池的剩余可用內存不能滿足用戶分配請求的次數,即是說:一個分配請求到來后,在 這個內存池上分配不到想要的內存,那么就failed就會增加1;這個分配請求將會遞交給下一個內存池去處理,如果下一個內存池也不能滿足,那么它的 failed也會加1,然后將請求繼續往下傳遞,直到滿足請求為止(如果沒有現成的內存池來滿足,會再創建一個新的內存池)。current字段會隨著 failed的增加而發生改變,如果current指向的內存池的failed達到了4的話,current就指向下一個內存池了。猜測:4這個值應該是 作者的經驗值,或者是一個統計值。

            三、大塊內存的分配(size > max)

            大塊內存的分配請求不會直接在內存池上分配內存來滿足,而是直接向操作系統申請這么一塊內存(就像直接使用malloc分配內存一樣),然后將這塊 內存掛到內存池頭部的large字段下。內存池的作用在于解決小塊內存池的頻繁申請問題,對于這種大塊內存,是可以忍受直接申請的。同樣,用圖形展示大塊 內存申請模型:

            注意每塊大內存都對應有一個頭部結構(next&alloc),這個頭部結構是用來將所有大內存串成一個鏈表用的。這個頭部結構不是直接向操作系 統申請的,而是當做小塊內存(頭部結構沒幾個字節)直接在內存池里申請的。這樣的大塊內存在使用完后,可能需要第一時間釋放,節省內存空間,因此 nginx提供了接口函數:ngx_int_t ngx_pfree(ngx_pool_t *pool, void *p);此函數專門用來釋放某個內存池上的某個大塊內存,p就是大內存的地址。ngx_pfree只會釋放大內存,不會釋放其對應的頭部結構,畢竟頭部結 構是當做小內存在內存池里申請的;遺留下來的頭部結構會作下一次申請大內存之用。

            四、cleanup資源


            可以看到所有掛載在內存池上的資源將形成一個循環鏈表,一路走來,發現鏈表這種看似簡單的數據結構卻被頻繁使用。由圖可知,每個需要清理的資源都對應有一 個頭部結構,這個結構中有一個關鍵的字段handler,handler是一個函數指針,在掛載一個資源到內存池上的時候,同時也會注冊一個清理資源的函 數到這個handler上。即是說,內存池在清理cleanup的時候,就是調用這個handler來清理對應的資源。比如:我們可以將一個開打的文件描 述符作為資源掛載到內存池上,同時提供一個關閉文件描述的函數注冊到handler上,那么內存池在釋放的時候,就會調用我們提供的關閉文件函數來處理文 件描述符資源了。

            五、內存的釋放

            nginx只提供給了用戶申請內存的接口,卻沒有釋放內存的接口,那么nginx是如何完成內存釋放的呢?總不能一直申請,用不釋放啊。針對這個問 題,nginx利用了web server應用的特殊場景來完成;一個web server總是不停的接受connection和request,所以nginx就將內存池分了不同的等級,有進程級的內存池、connection級 的內存池、request級的內存池。也就是說,創建好一個worker進程的時候,同時為這個worker進程創建一個內存池,待有新的連接到來后,就 在worker進程的內存池上為該連接創建起一個內存池;連接上到來一個request后,又在連接的內存池上為request創建起一個內存池。這樣, 在request被處理完后,就會釋放request的整個內存池,連接斷開后,就會釋放連接的內存池。因而,就保證了內存有分配也有釋放。

            總結:通過內存的分配和釋放可以看出,nginx只是將小塊內存的申請聚集到一起申請,然后一起釋放。避免了頻繁申請小內存,降低內存碎片的產生等問題

            posted on 2011-06-15 16:27 周強 閱讀(544) 評論(0)  編輯 收藏 引用 所屬分類: nginx

            av国内精品久久久久影院| 久久婷婷是五月综合色狠狠| 色88久久久久高潮综合影院| 中文国产成人精品久久不卡 | 精品综合久久久久久97超人 | 久久精品免费一区二区| 日韩乱码人妻无码中文字幕久久| 久久中文骚妇内射| 精品国产91久久久久久久a| 久久综合伊人77777| 精品久久久久久久无码| 国产无套内射久久久国产| 97视频久久久| 国产精品热久久无码av| 久久亚洲国产成人精品性色| 精品无码久久久久久久动漫| 久久久久人妻一区精品性色av| 久久精品成人欧美大片| 国产精品久久久久久福利69堂| 人人狠狠综合88综合久久| 久久99精品综合国产首页| 久久精品一区二区三区AV| 国产99久久九九精品无码| 久久综合九色综合网站| 污污内射久久一区二区欧美日韩| 99久久国产主播综合精品| 国产韩国精品一区二区三区久久| 亚洲综合久久夜AV | 久久无码精品一区二区三区| 色综合久久中文综合网| 成人免费网站久久久| 久久国产精品一国产精品金尊| 中文字幕热久久久久久久| 久久综合九色综合网站| 久久九九兔免费精品6| 久久久久亚洲AV无码观看| 久久久久久免费视频| 久久天天躁狠狠躁夜夜2020一| 免费无码国产欧美久久18| 久久婷婷五月综合国产尤物app| 亚洲精品乱码久久久久久|