• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            loop_in_codes

            低調(diào)做技術(shù)__歡迎移步我的獨(dú)立博客 codemaro.com 微博 kevinlynx

            libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載)

            Author : Kevin Lynx

            前言

                可以說對于任何網(wǎng)絡(luò)庫(模塊)而言,一個(gè)緩沖模塊都是必不可少的。緩沖模塊主要用于緩沖從網(wǎng)絡(luò)接收到的數(shù)據(jù),以及
            用戶提交的數(shù)據(jù)(用于發(fā)送)。很多時(shí)候,我們還需要將網(wǎng)絡(luò)模塊層(非TCP層)的這些緩沖數(shù)據(jù)拷貝到用戶層,而這些內(nèi)存拷貝
            都會(huì)消耗時(shí)間。
                在這里,我簡要分析下libevent的相關(guān)代碼(event.h和buffer.c)。

            結(jié)構(gòu)

                關(guān)于libevent的緩沖模塊,主要就是圍繞evbuffer結(jié)構(gòu)體展開。先看下evbuffer的定義:

            /*event.h*/
            struct evbuffer {
                u_char 
            *buffer;
                u_char 
            *orig_buffer; 

                size_t misalign;
                size_t totallen;
                size_t off; 

                
            void (*cb)(struct evbuffer *, size_t, size_t, void *);
                
            void *cbarg;
            }
            ;


                libevent的緩沖是一個(gè)連續(xù)的內(nèi)存區(qū)域,其處理數(shù)據(jù)的方式(寫數(shù)據(jù)和讀數(shù)據(jù))更像一個(gè)隊(duì)列操作方式:從后寫入,從前
            讀出。evbuffer分別設(shè)置相關(guān)指針(一個(gè)指標(biāo))用于指示讀出位置和寫入位置。其大致結(jié)構(gòu)如圖:

            evbuffer_str
                orig_buffer指向由realloc分配的連續(xù)內(nèi)存區(qū)域,buffer指向有效數(shù)據(jù)的內(nèi)存區(qū)域,totallen表示orig_buffer指向的內(nèi)存
            區(qū)域的大小,misalign表示buffer相對于orig_buffer的偏移,off表示有效數(shù)據(jù)的長度。

            實(shí)際運(yùn)作

                這里我將結(jié)合具體的代碼分析libevent是如何操作上面那個(gè)隊(duì)列式的evbuffer的,先看一些輔助函數(shù):

            evbuffer_drain:
                該函數(shù)主要操作一些指標(biāo),當(dāng)每次從evbuffer里讀取數(shù)據(jù)時(shí),libevent便會(huì)將buffer指針后移,同時(shí)增大misalign,減小off,
            而該函數(shù)正是做這件事的。說白了,該函數(shù)就是用于調(diào)整緩沖隊(duì)列的前向指標(biāo)。

            evbuffer_expand:
                該函數(shù)用于擴(kuò)充evbuffer的容量。每次向evbuffer寫數(shù)據(jù)時(shí),都是將數(shù)據(jù)寫到buffer+off后,buffer到buffer+off之間已被
            使用,保存的是有效數(shù)據(jù),而orig_buffer和buffer之間則是因?yàn)樽x取數(shù)據(jù)移動(dòng)指標(biāo)而形成的無效區(qū)域。
                evbuffer_expand的擴(kuò)充策略在于,首先判斷如果讓出orig_buffer和buffer之間的空閑區(qū)域是否可以容納添加的數(shù)據(jù),如果
            可以,則移動(dòng)buffer和buffer+off之間的數(shù)據(jù)到orig_buffer和orig_buffer+off之間(有可能發(fā)生內(nèi)存重疊,所以這里移動(dòng)調(diào)用的
            是memmove),然后把新的數(shù)據(jù)拷貝到orig_buffer+off之后;如果不可以容納,那么重新分配更大的空間(realloc),同樣會(huì)移動(dòng)
            數(shù)據(jù)。
                擴(kuò)充內(nèi)存的策略為:確保新的內(nèi)存區(qū)域最小尺寸為256,且以乘以2的方式逐步擴(kuò)大(256、512、1024、...)。

                了解了以上兩個(gè)函數(shù),看其他函數(shù)就比較簡單了。可以看看具體的讀數(shù)據(jù)和寫數(shù)據(jù):

            evbuffer_add:
                該函數(shù)用于添加一段用戶數(shù)據(jù)到evbuffer中。很簡單,就是先判斷是否有足夠的空閑內(nèi)存,如果沒有則調(diào)用evbuffer_expand
            擴(kuò)充之,然后直接memcpy,更新off指標(biāo)。

            evbuffer_remove:
                該函數(shù)用于將evbuffer中的數(shù)據(jù)復(fù)制給用戶空間(讀數(shù)據(jù))。簡單地將數(shù)據(jù)memcpy,然后調(diào)用evbuffer_drain移動(dòng)相關(guān)指標(biāo)。

            其他

                回過頭看看libevent的evbuffer其實(shí)是非常簡單的(跟我那個(gè)kl_net里的buffer一樣),不知道其他人有沒有更優(yōu)的緩沖管理
            方案。evbuffer還提供了兩個(gè)函數(shù):evbuffer_write和evbuffer_read,用于直接在套接字(其他文件描述符)上寫/讀數(shù)據(jù)。

                另外,關(guān)于libevent,因?yàn)楣俜教峁┑腣C工程文件有問題,很多人在windows下編譯不過。金慶曾提供過一種方法。其實(shí)主要
            就是修改event-config.h文件,修改編譯相關(guān)配置。這里我也提供一個(gè)解決步驟,順便提供完整包下載:

            1. vs2005打開libevent.dsw,轉(zhuǎn)換四個(gè)工程(event_test, libevent, signal_test, time_test)
            2. 刪除libevent項(xiàng)目中所有的文件,重新添加文件,文件列表如下:
               buffer.c
               evbuffer.c
               evdns.c
               evdns.h
               event.c
               event.h
               event_tagging.c
               event-config.h
               event-internal.h
               evhttp.h
               evrpc.h
               evrpc.c
               evrpc-internal.h
               evsignal.h
               evutil.c
               evutil.h
               http.c
               http-internal.h
               log.c
               log.h
               min_heap.h
               strlcpy.c
               strlcpy-internal.h
               tree.h
               win32.c
               config.h
               signal.c
            3. 替換event-config.h,使用libevent-iocp中的
            4. 項(xiàng)目設(shè)置里添加HAVE_CONFIG_H預(yù)處理宏
            5. 修改win32.c中win32_init函數(shù),加入WSAStartup函數(shù),類似于:
                   WSADATA wd;   
                    int err;
                    struct win32op *winop;
                    size_t size;
                    if( ( err = WSAStartup( MAKEWORD( 2, 2 ), &wd ) ) != 0 )
                        event_err( 1, "winsock startup failed : %d", err );
            6. 修改win32.c中win32_dealloc函數(shù),在函數(shù)末尾加上WSACleanup的調(diào)用:
                    WSACleanup();
            6. 至此libevent編譯成功;
            7. 幾個(gè)例子程序,只需要加入HAVE_CONFIG_H預(yù)處理宏,以及連接ws2_32.lib即可;
               (time_test需要修改time-test.c文件,即在包含event.h前包含windows.h)

            libevent-1.4.5-stable-vs2005.zip下載

             

            posted on 2008-07-16 14:28 Kevin Lynx 閱讀(9540) 評論(14)  編輯 收藏 引用 所屬分類: 通用編程network

            評論

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2008-07-16 15:09 true

            寫的好!  回復(fù)  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2008-08-12 10:32 白云哥

            這個(gè)libevent的vs2005包很好,謝謝

            自己偷懶了一把 :)  回復(fù)  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2008-08-25 21:25 weber

            寫得不錯(cuò),正在做基于libevent的項(xiàng)目, 一起交流. qq群:64559783  回復(fù)  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2008-10-23 18:07 浪跡天涯

            libevent用于改造網(wǎng)絡(luò)模型需要了解哪些知識?  回復(fù)  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載)[未登錄] 2008-10-23 20:43 Kevin Lynx

            @浪跡天涯
            改造網(wǎng)絡(luò)模型?不清楚。我只知道使用別人的庫。- -|  回復(fù)  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2008-12-09 18:42 vcclass

            不錯(cuò),分析的很好,很實(shí)用。libevent相對于ACE來說輕量級多了,ACE 學(xué)習(xí)曲線比較陡峭,不建議初學(xué)者學(xué)習(xí)。libevent里面還是有很多東西值得借鑒的。
            ACE用了很多設(shè)計(jì)模式的思想來封裝,如果對設(shè)計(jì)模式趕興趣的話可以研究,否則實(shí)際意義不是很大。  回復(fù)  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載)[未登錄] 2009-04-28 20:06 小馬

            新手請教 evbuffer用在什么地方了 libevent是事件響應(yīng)模型 但是具體事件處理還是要使用者自己的代碼來實(shí)現(xiàn)的 不是么  回復(fù)  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2009-04-28 22:41 Kevin Lynx

            @小馬
            在我印象里,evbuffer用于緩存邏輯層(即l基于libevent那一層)將要發(fā)送的數(shù)據(jù),以及緩存從設(shè)備(fd)里讀取出的數(shù)據(jù)。
              回復(fù)  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載)[未登錄] 2009-04-30 17:08 小馬

            @Kevin Lynx
            是不是這樣 libevent代碼里本身沒有用到evbuffer 只是我們在用libevent開發(fā)自己的應(yīng)用的時(shí)候可以使用evbuffer ?  回復(fù)  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2009-04-30 21:40 Kevin Lynx

            @小馬
            為什么你不打開libevent的源代碼搜索下evbuffer呢??  回復(fù)  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2009-06-26 21:11 taozzee

            請問 libevent 中類型 struct event_list 在哪定義的呢??

            在VC6下編譯通不過啊。  回復(fù)  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2010-05-24 09:09 周江濤

            寫的好,表達(dá)能力強(qiáng),分析透徹!  回復(fù)  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2011-05-07 21:49 dourgulf

            其實(shí),這個(gè)buffer管理方法效率很差了,涉及很多內(nèi)存的移動(dòng)。
            其實(shí),很多socket I/O都提供了buffer數(shù)組的發(fā)送方式,使用這種方式高效而且簡單。最新的libevent已經(jīng)放棄了LZ說的這個(gè)buffer管理方法了。  回復(fù)  更多評論   

            # re: libevent 源碼分析:evbuffer緩沖(附帶libevent vs2005完整包下載) 2014-05-19 15:53 coderchen

            @dourgulf
            現(xiàn)在libevent的buffer應(yīng)該是多個(gè)內(nèi)存塊組成的chain,但是由于內(nèi)存不連續(xù),作為接收緩沖區(qū)反序列化的時(shí)候,還要多拷貝一次數(shù)據(jù)。  回復(fù)  更多評論   

            久久电影网一区| 久久精品国产91久久麻豆自制 | 亚洲午夜久久久| 91麻豆国产精品91久久久| 人妻精品久久无码区| 久久成人国产精品一区二区| 午夜肉伦伦影院久久精品免费看国产一区二区三区| 久久精品国产一区二区三区| 日韩乱码人妻无码中文字幕久久 | 日本一区精品久久久久影院| 国产精品美女久久久久av爽| 久久精品国产免费观看三人同眠| 精品久久一区二区三区| 亚洲日韩欧美一区久久久久我 | 国产巨作麻豆欧美亚洲综合久久| 人人狠狠综合久久亚洲| 久久精品国产91久久综合麻豆自制| 久久国产亚洲精品| 久久成人国产精品一区二区| 久久夜色精品国产网站| 久久免费视频1| 精品久久久久中文字幕一区| 国产精品久久久久9999高清| 老司机午夜网站国内精品久久久久久久久 | 亚洲中文字幕无码一久久区 | 亚洲av日韩精品久久久久久a | 久久久黄片| 97精品伊人久久久大香线蕉| 狼狼综合久久久久综合网| 久久精品青青草原伊人| 久久国产免费直播| 久久99九九国产免费看小说| 日韩欧美亚洲综合久久影院Ds | 嫩草伊人久久精品少妇AV| 久久午夜夜伦鲁鲁片免费无码影视| 久久久噜噜噜久久| 久久人人爽人人精品视频| 久久综合伊人77777| 亚洲国产精品无码久久青草| 热RE99久久精品国产66热| 亚洲另类欧美综合久久图片区|