tqsheng

NAME
       epoll - I/O event notification facility

SYNOPSIS
       #include <sys/epoll.h>

DEscrīptION
       epoll is a variant of poll(2) that can be used either as Edge or Level
       Triggered interface and scales well to large numbers of watched fds.
       Three system calls are provided to set up and control an epoll set:
       epoll_create(2), epoll_ctl(2), epoll_wait(2).

       An epoll set is connected to a file descrīptor created by epoll_create(2).   Interest for certain file descrīptors is then registered via
       epoll_ctl(2). Finally, the actual wait is started by epoll_wait(2).

其實(shí)，一切的解釋都是多余的，按照我目前的了解，EPOLL模型似乎只有一種格式，所以大家只要參考我下面的代碼，就能夠?qū)POLL有所了解了，代碼的解釋都已經(jīng)在注釋中：

while (TRUE)
{
int nfds = epoll_wait (m_epoll_fd, m_events, MAX_EVENTS, EPOLL_TIME_OUT);//等待EPOLL事件的發(fā)生，相當(dāng)于監(jiān)聽，至于相關(guān)的端口，需要在初始化EPOLL的時(shí)候綁定。
if (nfds <= 0)
   continue;
m_bOnTimeChecking = FALSE;
G_CurTime = time(NULL);
for (int i=0; i<nfds; i++)
{
   try
   {
    if (m_events[i].data.fd == m_listen_http_fd)//如果新監(jiān)測(cè)到一個(gè)HTTP用戶連接到綁定的HTTP端口，建立新的連接。由于我們新采用了SOCKET連接，所以基本沒用。
    {
     OnAcceptHttpEpoll ();
    }
    else if (m_events[i].data.fd == m_listen_sock_fd)//如果新監(jiān)測(cè)到一個(gè)SOCKET用戶連接到了綁定的SOCKET端口，建立新的連接。
    {
     OnAcceptSockEpoll ();
    }
    else if (m_events[i].events & EPOLLIN)//如果是已經(jīng)連接的用戶，并且收到數(shù)據(jù)，那么進(jìn)行讀入。
    {
     OnReadEpoll (i);
    }

    OnWriteEpoll (i);//查看當(dāng)前的活動(dòng)連接是否有需要寫出的數(shù)據(jù)。
   }
   catch (int)
   {
    PRINTF ("CATCH捕獲錯(cuò)誤\n");
    continue;
   }
}
m_bOnTimeChecking = TRUE;
OnTimer ();//進(jìn)行一些定時(shí)的操作，主要就是刪除一些斷線用戶等。
}

其實(shí)EPOLL的精華，按照我目前的理解，也就是上述的幾段短短的代碼，看來時(shí)代真的不同了，以前如何接受大量用戶連接的問題，現(xiàn)在卻被如此輕松的搞定，真是讓人不得不感嘆。

今天搞了一天的epoll，想做一個(gè)高并發(fā)的代理程序。剛開始真是郁悶,一直搞不通，網(wǎng)上也有幾篇介紹epoll的文章。但都不深入，沒有將一些注意的地方講明。以至于走了很多彎路，現(xiàn)將自己的一些理解共享給大家,以少走彎路。

epoll用到的所有函數(shù)都是在頭文件sys/epoll.h中聲明，有什么地方不明白或函數(shù)忘記了可以去看一下。
epoll和select相比，最大不同在于:

1epoll返回時(shí)已經(jīng)明確的知道哪個(gè)sokcet fd發(fā)生了事件，不用再一個(gè)個(gè)比對(duì)。這樣就提高了效率。
2select的FD_SETSIZE是有限止的，而epoll是沒有限止的只與系統(tǒng)資源有關(guān)。

1、epoll_create函數(shù)
函數(shù)聲明：int epoll_create(int size)
該 函數(shù)生成一個(gè)epoll專用的文件描述符。它其實(shí)是在內(nèi)核申請(qǐng)一空間，用來存放你想關(guān)注的socket fd上是否發(fā)生以及發(fā)生了什么事件。size就是你在這個(gè)epoll fd上能關(guān)注的最大socket fd數(shù)。隨你定好了。只要你有空間。可參見上面與select之不同2.

22、epoll_ctl函數(shù)
函數(shù)聲明：int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)
該函數(shù)用于控制某個(gè)epoll文件描述符上的事件，可以注冊(cè)事件，修改事件，刪除事件。
參數(shù)：
epfd：由 epoll_create 生成的epoll專用的文件描述符；
op：要進(jìn)行的操作例如注冊(cè)事件，可能的取值EPOLL_CTL_ADD 注冊(cè)、EPOLL_CTL_MOD 修 改、EPOLL_CTL_DEL 刪除

fd：關(guān)聯(lián)的文件描述符；
event：指向epoll_event的指針；
如果調(diào)用成功返回0,不成功返回-1

用到的數(shù)據(jù)結(jié)構(gòu)
typedef union epoll_data {
void *ptr;
int fd;
__uint32_t u32;
__uint64_t u64;
} epoll_data_t;

struct epoll_event {
__uint32_t events; /* Epoll events */
epoll_data_t data; /* User data variable */
};


如：
struct epoll_event ev;
//設(shè)置與要處理的事件相關(guān)的文件描述符
ev.data.fd=listenfd;
//設(shè)置要處理的事件類型
ev.events=EPOLLIN|EPOLLET;
//注冊(cè)epoll事件
epoll_ctl(epfd,EPOLL_CTL_ADD,listenfd,&ev);


常用的事件類型:
EPOLLIN ：表示對(duì)應(yīng)的文件描述符可以讀；
EPOLLOUT：表示對(duì)應(yīng)的文件描述符可以寫；
EPOLLPRI：表示對(duì)應(yīng)的文件描述符有緊急的數(shù)據(jù)可讀
EPOLLERR：表示對(duì)應(yīng)的文件描述符發(fā)生錯(cuò)誤；
EPOLLHUP：表示對(duì)應(yīng)的文件描述符被掛斷；
EPOLLET：表示對(duì)應(yīng)的文件描述符有事件發(fā)生；


3、epoll_wait函數(shù)
函數(shù)聲明:int epoll_wait(int epfd,struct epoll_event * events,int maxevents,int timeout)
該函數(shù)用于輪詢I/O事件的發(fā)生；
參數(shù)：
epfd:由epoll_create 生成的epoll專用的文件描述符；
epoll_event:用于回傳代處理事件的數(shù)組；
maxevents:每次能處理的事件數(shù)；
timeout:等待I/O事件發(fā)生的超時(shí)值(單位我也不太清楚)；-1相當(dāng)于阻塞，0相當(dāng)于非阻塞。一般用-1即可
返回發(fā)生事件數(shù)。


用法如下：

/*build the epoll enent for recall */
struct epoll_event ev_read[20];
int nfds = 0; //return the events count
nfds=epoll_wait(epoll_fd,ev_read,20, -1);
for(i=0; i
{
if(ev_read[i].data.fd == sock)// the listener port hava data
......

epoll_wait運(yùn)行的原理是
等侍注冊(cè)在epfd上的socket fd的事件的發(fā)生，如果發(fā)生則將發(fā)生的sokct fd和事件類型放入到events數(shù)組中。
并 且將注冊(cè)在epfd上的socket fd的事件類型給清空，所以如果下一個(gè)循環(huán)你還要關(guān)注這個(gè)socket fd的話，則需要用epoll_ctl(epfd,EPOLL_CTL_MOD,listenfd,&ev)來重新設(shè)置socket fd的事件類型。這時(shí)不用EPOLL_CTL_ADD,因?yàn)閟ocket fd并未清空，只是事件類型清空。這一步非常重要。
俺最開始就是沒有加這個(gè)，白搞了一個(gè)上午。

4單個(gè)epoll并不能解決所有問題，特別是你的每個(gè)操作都比較費(fèi)時(shí)的時(shí)候，因?yàn)閑poll是串行處理的。
所以你還是有必要建立線程池來發(fā)揮更大的效能。

//////////////////////////////////////////////////////////////////////////////
man中給出了epoll的用法，example程序如下：
       for(;;) {
           nfds = epoll_wait(kdpfd, events, maxevents, -1);

           for(n = 0; n < nfds; ++n) {
               if(events[n].data.fd == listener) {
                   client = accept(listener, (struct sockaddr *) &local,
                                   &addrlen);
                   if(client < 0){
                       perror("accept");
                       continue;
                   }
                   setnonblocking(client);
                   ev.events = EPOLLIN | EPOLLET;
                   ev.data.fd = client;
                   if (epoll_ctl(kdpfd, EPOLL_CTL_ADD, client, &ev) < 0) {
                       fprintf(stderr, "epoll set insertion error: fd=%d\n",
                               client);
                       return -1;
                   }
               }
               else
                   do_use_fd(events[n].data.fd);
           }
       }
此時(shí)使用的是ET模式，即，邊沿觸發(fā)，類似于電平觸發(fā)，epoll中的邊沿觸發(fā)的意思是只對(duì)新到的數(shù)據(jù)進(jìn)行通知，而內(nèi)核緩沖區(qū)中如果是舊數(shù)據(jù)則不進(jìn)行通知，所以在do_use_fd函數(shù)中應(yīng)該使用如下循環(huán)，才能將內(nèi)核緩沖區(qū)中的數(shù)據(jù)讀完。
        while (1) {
           len = recv(*******);
           if (len == -1) {
             if(errno == EAGAIN)
                break;
             perror("recv");
             break;
           }
           do something with the recved data........
        }

在上面例子中沒有說明對(duì)于listen socket fd該如何處理，有的時(shí)候會(huì)使用兩個(gè)線程，一個(gè)用來監(jiān)聽accept另一個(gè)用來監(jiān)聽epoll_wait，如果是這樣使用的話，則listen socket fd使用默認(rèn)的阻塞方式就行了，而如果epoll_wait和accept處于一個(gè)線程中，即，全部由epoll_wait進(jìn)行監(jiān)聽，則，需將listen socket fd也設(shè)置成非阻塞的，這樣，對(duì)accept也應(yīng)該使用while包起來（類似于上面的recv），因?yàn)椋琫poll_wait返回時(shí)只是說有連接到來了，并沒有說有幾個(gè)連接，而且在ET模式下epoll_wait不會(huì)再因?yàn)樯弦淮蔚倪B接還沒讀完而返回，這種情況確實(shí)存在，我因?yàn)檫@個(gè)問題而耗費(fèi)了一天多的時(shí)間，這里需要說明的是，每調(diào)用一次accept將從內(nèi)核中的已連接隊(duì)列中的隊(duì)頭讀取一個(gè)連接，因?yàn)樵诓l(fā)訪問的環(huán)境下，有可能有多個(gè)連接“同時(shí)”到達(dá)，而epoll_wait只返回了一次。

唯一有點(diǎn)麻煩是epoll有2種工作方式:LT和ET。

LT(level triggered)是缺省的工作方式，并且同時(shí)支持block和no-block socket.在這種做法中，內(nèi)核告訴你一個(gè)文件描述符是否就緒了，然后你可以對(duì)這個(gè)就緒的fd進(jìn)行IO操作。如果你不作任何操作，內(nèi)核還是會(huì)繼續(xù)通知你的，所以，這種模式編程出錯(cuò)誤可能性要小一點(diǎn)。傳統(tǒng)的select/poll都是這種模型的代表．

ET (edge-triggered)是高速工作方式，只支持no-block socket。在這種模式下，當(dāng)描述符從未就緒變?yōu)榫途w時(shí)，內(nèi)核通過epoll告訴你。然后它會(huì)假設(shè)你知道文件描述符已經(jīng)就緒，并且不會(huì)再為那個(gè)文件描述符發(fā)送更多的就緒通知，直到你做了某些操作導(dǎo)致那個(gè)文件描述符不再為就緒狀態(tài)了(比如，你在發(fā)送，接收或者接收請(qǐng)求，或者發(fā)送接收的數(shù)據(jù)少于一定量時(shí)導(dǎo)致了一個(gè)EWOULDBLOCK 錯(cuò)誤）。但是請(qǐng)注意，如果一直不對(duì)這個(gè)fd作IO操作(從而導(dǎo)致它再次變成未就緒)，內(nèi)核不會(huì)發(fā)送更多的通知(only once),不過在TCP協(xié)議中，ET模式的加速效用仍需要更多的benchmark確認(rèn)。