• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            loop_in_codes

            低調(diào)做技術(shù)__歡迎移步我的獨立博客 codemaro.com 微博 kevinlynx

            libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載)

            Author : Kevin Lynx

            前言

                可以說對于任何網(wǎng)絡庫(模塊)而言,一個緩沖模塊都是必不可少的。緩沖模塊主要用于緩沖從網(wǎng)絡接收到的數(shù)據(jù),以及
            用戶提交的數(shù)據(jù)(用于發(fā)送)。很多時候,我們還需要將網(wǎng)絡模塊層(非TCP層)的這些緩沖數(shù)據(jù)拷貝到用戶層,而這些內(nèi)存拷貝
            都會消耗時間。
                在這里,我簡要分析下libevent的相關(guān)代碼(event.h和buffer.c)。

            結(jié)構(gòu)

                關(guān)于libevent的緩沖模塊,主要就是圍繞evbuffer結(jié)構(gòu)體展開。先看下evbuffer的定義:

            /*event.h*/
            struct evbuffer {
                u_char 
            *buffer;
                u_char 
            *orig_buffer; 

                size_t misalign;
                size_t totallen;
                size_t off; 

                
            void (*cb)(struct evbuffer *, size_t, size_t, void *);
                
            void *cbarg;
            }
            ;


                libevent的緩沖是一個連續(xù)的內(nèi)存區(qū)域,其處理數(shù)據(jù)的方式(寫數(shù)據(jù)和讀數(shù)據(jù))更像一個隊列操作方式:從后寫入,從前
            讀出。evbuffer分別設置相關(guān)指針(一個指標)用于指示讀出位置和寫入位置。其大致結(jié)構(gòu)如圖:

            evbuffer_str
                orig_buffer指向由realloc分配的連續(xù)內(nèi)存區(qū)域,buffer指向有效數(shù)據(jù)的內(nèi)存區(qū)域,totallen表示orig_buffer指向的內(nèi)存
            區(qū)域的大小,misalign表示buffer相對于orig_buffer的偏移,off表示有效數(shù)據(jù)的長度。

            實際運作

                這里我將結(jié)合具體的代碼分析libevent是如何操作上面那個隊列式的evbuffer的,先看一些輔助函數(shù):

            evbuffer_drain:
                該函數(shù)主要操作一些指標,當每次從evbuffer里讀取數(shù)據(jù)時,libevent便會將buffer指針后移,同時增大misalign,減小off,
            而該函數(shù)正是做這件事的。說白了,該函數(shù)就是用于調(diào)整緩沖隊列的前向指標。

            evbuffer_expand:
                該函數(shù)用于擴充evbuffer的容量。每次向evbuffer寫數(shù)據(jù)時,都是將數(shù)據(jù)寫到buffer+off后,buffer到buffer+off之間已被
            使用,保存的是有效數(shù)據(jù),而orig_buffer和buffer之間則是因為讀取數(shù)據(jù)移動指標而形成的無效區(qū)域。
                evbuffer_expand的擴充策略在于,首先判斷如果讓出orig_buffer和buffer之間的空閑區(qū)域是否可以容納添加的數(shù)據(jù),如果
            可以,則移動buffer和buffer+off之間的數(shù)據(jù)到orig_buffer和orig_buffer+off之間(有可能發(fā)生內(nèi)存重疊,所以這里移動調(diào)用的
            是memmove),然后把新的數(shù)據(jù)拷貝到orig_buffer+off之后;如果不可以容納,那么重新分配更大的空間(realloc),同樣會移動
            數(shù)據(jù)。
                擴充內(nèi)存的策略為:確保新的內(nèi)存區(qū)域最小尺寸為256,且以乘以2的方式逐步擴大(256、512、1024、...)。

                了解了以上兩個函數(shù),看其他函數(shù)就比較簡單了。可以看看具體的讀數(shù)據(jù)和寫數(shù)據(jù):

            evbuffer_add:
                該函數(shù)用于添加一段用戶數(shù)據(jù)到evbuffer中。很簡單,就是先判斷是否有足夠的空閑內(nèi)存,如果沒有則調(diào)用evbuffer_expand
            擴充之,然后直接memcpy,更新off指標。

            evbuffer_remove:
                該函數(shù)用于將evbuffer中的數(shù)據(jù)復制給用戶空間(讀數(shù)據(jù))。簡單地將數(shù)據(jù)memcpy,然后調(diào)用evbuffer_drain移動相關(guān)指標。

            其他

                回過頭看看libevent的evbuffer其實是非常簡單的(跟我那個kl_net里的buffer一樣),不知道其他人有沒有更優(yōu)的緩沖管理
            方案。evbuffer還提供了兩個函數(shù):evbuffer_write和evbuffer_read,用于直接在套接字(其他文件描述符)上寫/讀數(shù)據(jù)。

                另外,關(guān)于libevent,因為官方提供的VC工程文件有問題,很多人在windows下編譯不過。金慶曾提供過一種方法。其實主要
            就是修改event-config.h文件,修改編譯相關(guān)配置。這里我也提供一個解決步驟,順便提供完整包下載:

            1. vs2005打開libevent.dsw,轉(zhuǎn)換四個工程(event_test, libevent, signal_test, time_test)
            2. 刪除libevent項目中所有的文件,重新添加文件,文件列表如下:
               buffer.c
               evbuffer.c
               evdns.c
               evdns.h
               event.c
               event.h
               event_tagging.c
               event-config.h
               event-internal.h
               evhttp.h
               evrpc.h
               evrpc.c
               evrpc-internal.h
               evsignal.h
               evutil.c
               evutil.h
               http.c
               http-internal.h
               log.c
               log.h
               min_heap.h
               strlcpy.c
               strlcpy-internal.h
               tree.h
               win32.c
               config.h
               signal.c
            3. 替換event-config.h,使用libevent-iocp中的
            4. 項目設置里添加HAVE_CONFIG_H預處理宏
            5. 修改win32.c中win32_init函數(shù),加入WSAStartup函數(shù),類似于:
                   WSADATA wd;   
                    int err;
                    struct win32op *winop;
                    size_t size;
                    if( ( err = WSAStartup( MAKEWORD( 2, 2 ), &wd ) ) != 0 )
                        event_err( 1, "winsock startup failed : %d", err );
            6. 修改win32.c中win32_dealloc函數(shù),在函數(shù)末尾加上WSACleanup的調(diào)用:
                    WSACleanup();
            6. 至此libevent編譯成功;
            7. 幾個例子程序,只需要加入HAVE_CONFIG_H預處理宏,以及連接ws2_32.lib即可;
               (time_test需要修改time-test.c文件,即在包含event.h前包含windows.h)

            libevent-1.4.5-stable-vs2005.zip下載

             

            posted on 2008-07-16 14:28 Kevin Lynx 閱讀(9541) 評論(14)  編輯 收藏 引用 所屬分類: 通用編程network

            評論

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2008-07-16 15:09 true

            寫的好!  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2008-08-12 10:32 白云哥

            這個libevent的vs2005包很好,謝謝

            自己偷懶了一把 :)  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2008-08-25 21:25 weber

            寫得不錯,正在做基于libevent的項目, 一起交流. qq群:64559783  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2008-10-23 18:07 浪跡天涯

            libevent用于改造網(wǎng)絡模型需要了解哪些知識?  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載)[未登錄] 2008-10-23 20:43 Kevin Lynx

            @浪跡天涯
            改造網(wǎng)絡模型?不清楚。我只知道使用別人的庫。- -|  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2008-12-09 18:42 vcclass

            不錯,分析的很好,很實用。libevent相對于ACE來說輕量級多了,ACE 學習曲線比較陡峭,不建議初學者學習。libevent里面還是有很多東西值得借鑒的。
            ACE用了很多設計模式的思想來封裝,如果對設計模式趕興趣的話可以研究,否則實際意義不是很大。  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載)[未登錄] 2009-04-28 20:06 小馬

            新手請教 evbuffer用在什么地方了 libevent是事件響應模型 但是具體事件處理還是要使用者自己的代碼來實現(xiàn)的 不是么  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2009-04-28 22:41 Kevin Lynx

            @小馬
            在我印象里,evbuffer用于緩存邏輯層(即l基于libevent那一層)將要發(fā)送的數(shù)據(jù),以及緩存從設備(fd)里讀取出的數(shù)據(jù)。
              回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載)[未登錄] 2009-04-30 17:08 小馬

            @Kevin Lynx
            是不是這樣 libevent代碼里本身沒有用到evbuffer 只是我們在用libevent開發(fā)自己的應用的時候可以使用evbuffer ?  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2009-04-30 21:40 Kevin Lynx

            @小馬
            為什么你不打開libevent的源代碼搜索下evbuffer呢??  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2009-06-26 21:11 taozzee

            請問 libevent 中類型 struct event_list 在哪定義的呢??

            在VC6下編譯通不過啊。  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2010-05-24 09:09 周江濤

            寫的好,表達能力強,分析透徹!  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2011-05-07 21:49 dourgulf

            其實,這個buffer管理方法效率很差了,涉及很多內(nèi)存的移動。
            其實,很多socket I/O都提供了buffer數(shù)組的發(fā)送方式,使用這種方式高效而且簡單。最新的libevent已經(jīng)放棄了LZ說的這個buffer管理方法了。  回復  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2014-05-19 15:53 coderchen

            @dourgulf
            現(xiàn)在libevent的buffer應該是多個內(nèi)存塊組成的chain,但是由于內(nèi)存不連續(xù),作為接收緩沖區(qū)反序列化的時候,還要多拷貝一次數(shù)據(jù)。  回復  更多評論   

            久久综合伊人77777| 国内精品伊人久久久久av一坑| 日韩精品国产自在久久现线拍| 久久99中文字幕久久| 久久精品国产亚洲AV不卡| 久久精品国产精品亚洲精品| 伊人久久大香线蕉综合Av| 久久成人影院精品777| 亚洲精品99久久久久中文字幕 | 国产精品久久影院| 国内精品久久久久久久久| 综合久久给合久久狠狠狠97色| 久久国产高潮流白浆免费观看| 精品久久人人妻人人做精品| 久久精品久久久久观看99水蜜桃| 国产精品久久久久无码av| 久久亚洲AV成人无码软件| 99久久精品国产毛片| 亚洲精品美女久久777777| 久久精品成人欧美大片| 久久国产乱子伦免费精品| 久久精品国产欧美日韩99热| 久久精品国内一区二区三区| 久久婷婷五月综合色99啪ak| 久久精品九九亚洲精品天堂| 亚洲香蕉网久久综合影视| 久久久久久久久久免免费精品| 狠狠狠色丁香婷婷综合久久五月| 久久综合亚洲鲁鲁五月天| 亚洲人成网站999久久久综合| 国产美女久久精品香蕉69| 亚洲国产精品无码久久| 久久SE精品一区二区| 久久人人爽人人爽人人片AV东京热| 国产AV影片久久久久久| 国产成人综合久久久久久| 久久99国产一区二区三区| 一本伊大人香蕉久久网手机| 久久精品国产只有精品2020| 7国产欧美日韩综合天堂中文久久久久 | 久久亚洲AV无码西西人体|