IOCP模型總結(jié)
IOCP（I/O Completion Port，I/O完成端口）是性能最好的一種I/O模型。它是應(yīng)用程序使用線程池處理異步I/O請(qǐng)求的一種機(jī)制。在處理多個(gè)并發(fā)的異步I/O請(qǐng)求時(shí)，以往的模型都是在接收請(qǐng)求是創(chuàng)建一個(gè)線程來(lái)應(yīng)答請(qǐng)求。這樣就有很多的線程并行地運(yùn)行在系統(tǒng)中。而這些線程都是可運(yùn)行的，Windows內(nèi)核花費(fèi)大量的時(shí)間在進(jìn)行線程的上下文切換，并沒(méi)有多少時(shí)間花在線程運(yùn)行上。再加上創(chuàng)建新線程的開(kāi)銷(xiāo)比較大，所以造成了效率的低下。

調(diào)用的步驟如下:
抽象出一個(gè)完成端口大概的處理流程：
1：創(chuàng)建一個(gè)完成端口。
2：創(chuàng)建一個(gè)線程A。
3：A線程循環(huán)調(diào)用GetQueuedCompletionStatus()函數(shù)來(lái)得到IO操作結(jié)果，這個(gè)函數(shù)是個(gè)阻塞函數(shù)。
4：主線程循環(huán)里調(diào)用accept等待客戶(hù)端連接上來(lái)。
5：主線程里accept返回新連接建立以后，把這個(gè)新的套接字句柄用CreateIoCompletionPort關(guān)聯(lián)到完成端口，然后發(fā)出一個(gè)異步的 WSASend或者WSARecv調(diào)用，因?yàn)槭钱惒胶瘮?shù)，WSASend/WSARecv會(huì)馬上返回，實(shí)際的發(fā)送或者接收數(shù)據(jù)的操作由WINDOWS系統(tǒng)去做。
6：主線程繼續(xù)下一次循環(huán)，阻塞在accept這里等待客戶(hù)端連接。
7：WINDOWS系統(tǒng)完成WSASend或者WSArecv的操作，把結(jié)果發(fā)到完成端口。
8：A線程里的GetQueuedCompletionStatus()馬上返回，并從完成端口取得剛完成的WSASend/WSARecv的結(jié)果。
9：在A線程里對(duì)這些數(shù)據(jù)進(jìn)行處理(如果處理過(guò)程很耗時(shí)，需要新開(kāi)線程處理)，然后接著發(fā)出WSASend/WSARecv，并繼續(xù)下一次循環(huán)阻塞在GetQueuedCompletionStatus()這里。
歸根到底概括完成端口模型一句話：
我們不停地發(fā)出異步的WSASend/WSARecv IO操作，具體的IO處理過(guò)程由WINDOWS系統(tǒng)完成，WINDOWS系統(tǒng)完成實(shí)際的IO處理后，把結(jié)果送到完成端口上（如果有多個(gè)IO都完成了，那么就在完成端口那里排成一個(gè)隊(duì)列）。我們?cè)诹硗庖粋€(gè)線程里從完成端口不斷地取出IO操作結(jié)果，然后根據(jù)需要再發(fā)出WSASend/WSARecv IO操作。

而IOCP模型是事先開(kāi)好了N個(gè)線程，存儲(chǔ)在線程池中，讓他們hold。然后將所有用戶(hù)的請(qǐng)求都投遞到一個(gè)完成端口上，然后N個(gè)工作線程逐一地從完成端口中取得用戶(hù)消息并加以處理。這樣就避免了為每個(gè)用戶(hù)開(kāi)一個(gè)線程。既減少了線程資源，又提高了線程的利用率。

完成端口模型是怎樣實(shí)現(xiàn)的呢？我們先創(chuàng)建一個(gè)完成端口（::CreateIoCompletioPort()）。然后再創(chuàng)建一個(gè)或多個(gè)工作線程，并指定他們到這個(gè)完成端口上去讀取數(shù)據(jù)。我們?cè)賹⑦h(yuǎn)程
連接的套接字句柄關(guān)聯(lián)到這個(gè)完成端口（還是用::CreateIoCompletionPort()）。一切就 OK了。

工作線程都干些什么呢？首先是調(diào)用::GetQueuedCompletionStatus()函數(shù)在關(guān)聯(lián)到這個(gè)完成端口上的所有套接字上等待I/O的完成。再判斷完成了什么類(lèi)型的I/O。一般來(lái)說(shuō)，有三種類(lèi)型的I/O，OP_ACCEPT，OP_READ和OP_WIRTE。我們到數(shù)據(jù)緩沖區(qū)內(nèi)讀取數(shù)據(jù)后，再投遞一個(gè)或是多個(gè)同類(lèi)型的I/O即可（::AcceptEx()、::WSARecv()、::WSASend()）。對(duì)讀取到的數(shù)據(jù)，我們可以按照自己的需要來(lái)進(jìn)行相應(yīng)的處理。

為此，我們需要一個(gè)以O(shè)VERLAPPED（重疊I/O）結(jié)構(gòu)為第一個(gè)字段的per-I/O數(shù)據(jù)自定義結(jié)構(gòu)。

將一個(gè)PER_IO_DATA結(jié)構(gòu)強(qiáng)制轉(zhuǎn)化成一個(gè)OVERLAPPED結(jié)構(gòu)傳給::GetQueuedCompletionStatus()函數(shù)，返回的這個(gè)PER_IO_DATA結(jié)構(gòu)的的nOperationType就是I/O操作的類(lèi)型。當(dāng)然，這些類(lèi)型都是在投遞I/O請(qǐng)求時(shí)自己設(shè)置的。

這樣一個(gè)IOCP服務(wù)器的框架就出來(lái)了。當(dāng)然，要做一個(gè)好的IOCP服務(wù)器，還有考慮很多問(wèn)題，如內(nèi)存資源管理、接受連接的方法、惡意的客戶(hù)連接、包的重排序等等。以上是個(gè)人對(duì)于IOCP模型的一些理解與看法，還有待完善。另外各Winsock API的用法參見(jiàn)MSDN。

補(bǔ)充IOCP模型的實(shí)現(xiàn)：

//創(chuàng)建一個(gè)完成端口
HANDLE FCompletPort = CreateIoCompletionPort( INVALID_HANDLE_VALUE, 0,0,0 );

//接受遠(yuǎn)程連接，并把這個(gè)連接的socket句柄綁定到剛才創(chuàng)建的IOCP上
AConnect = accept( FListenSock, addr, len);
CreateIoCompletionPort( AConnect, FCompletPort, NULL, 0 );

//創(chuàng)建CPU數(shù)*2 + 2個(gè)線程
SYSTEM_INFO si;
GetSystemInfo(&si);
for (int i=1;si.dwNumberOfProcessors*2+2;i++)
{
   AThread = TRecvSendThread.Create( false );
   AThread.CompletPort = FCompletPort;//告訴這個(gè)線程，你要去這個(gè)IOCP去訪問(wèn)數(shù)據(jù)
}

OK，就這么簡(jiǎn)單，我們要做的就是建立一個(gè)IOCP，把遠(yuǎn)程連接的socket句柄綁定到剛才創(chuàng)建的IOCP上，最后創(chuàng)建n個(gè)線程，并告訴這n個(gè)線程到這個(gè)IOCP上去訪問(wèn)數(shù)據(jù)就可以了。

再看一下TRecvSendThread線程都干些什么：

void TRecvSendThread.Execute(...)
{
   while (!self.Terminated)
   {
     //查詢(xún)IOCP狀態(tài)（數(shù)據(jù)讀寫(xiě)操作是否完成）
     GetQueuedCompletionStatus( CompletPort, BytesTransd, CompletKey, POVERLAPPED(pPerIoDat), TIME_OUT );
     if (BytesTransd !=0) .......
       ....;//數(shù)據(jù)讀寫(xiě)操作完成

     //再投遞一個(gè)讀數(shù)據(jù)請(qǐng)求
     WSARecv( CompletKey, &(pPerIoDat->BufData), 1, BytesRecv, Flags, &(pPerIoDat->Overlap), NULL );
   }
}

讀寫(xiě)線程只是簡(jiǎn)單地檢查IOCP是否完成了我們投遞的讀寫(xiě)操作，如果完成了則再投遞一個(gè)新的讀寫(xiě)請(qǐng)求。應(yīng)該注意到，我們創(chuàng)建的所有TRecvSendThread都在訪問(wèn)同一個(gè)IOCP（因?yàn)槲覀冎粍?chuàng)建了一個(gè)IOCP），并且我們沒(méi)有使用臨界區(qū)！難道不會(huì)產(chǎn)生沖突嗎？不用考慮同步問(wèn)題嗎？呵呵，這正是IOCP的奧妙所在。IOCP不是一個(gè)普通的對(duì)象，不需要考慮線程安全問(wèn)題。它會(huì)自動(dòng)調(diào)配訪問(wèn)它的線程：如果某個(gè)socket上有一個(gè)線程A正在訪問(wèn)，那么線程B的訪問(wèn)請(qǐng)求會(huì)被分配到另外一個(gè)socket。這一切都是由系統(tǒng)自動(dòng)調(diào)配的，我們無(wú)需過(guò)問(wèn)。

實(shí)例:

簡(jiǎn)單實(shí)現(xiàn)，適合IOCP入門(mén)
參考：《WINDOWS網(wǎng)絡(luò)與通信程序設(shè)計(jì)》

  1 /******************************************************************
  2 *
  3 * Copyright (c) 2008, xxxxx有限公司
  4 * All rights reserved.
  5 *
  6 * 文件名稱(chēng)：IOCPHeader.h
  7 * 摘   要： IOCP定義文件
  8 *
  9 * 當(dāng)前版本：1.0
 10 * 作    者：吳會(huì)然
 11 * 完成日期：2008-9-16
 12 *
 13 * 取代版本：
 14 * 原 作者：
 15 * 完成日期：
 16 *
 17 ******************************************************************/
 18 
 19 #ifndef _IOCPHEADER_H_20080916_
 20 #define _IOCPHEADER_H_20080916_
 21 
 22 #include <WINSOCK2.H>
 23 #include <windows.h>
 24 
 25 #define BUFFER_SIZE 1024
 26 
 27 /******************************************************************
 28 * per_handle 數(shù)據(jù)
 29 *******************************************************************/
 30 typedef struct _PER_HANDLE_DATA
 31 {
 32     SOCKET      s;      // 對(duì)應(yīng)的套接字句柄
 33     sockaddr_in addr;   // 對(duì)方的地址
 34 
 35 }PER_HANDLE_DATA, *PPER_HANDLE_DATA;
 36 
 37 /******************************************************************
 38 * per_io 數(shù)據(jù)
 39 *******************************************************************/
 40 typedef struct _PER_IO_DATA
 41 {
 42     OVERLAPPED ol;                  // 重疊結(jié)構(gòu)
 43     char     buf[BUFFER_SIZE];   // 數(shù)據(jù)緩沖區(qū)
 44     int       nOperationType;      // 操作類(lèi)型
 45 
 46 #define OP_READ   1
 47 #define OP_WRITE 2
 48 #define OP_ACCEPT 3
 49 
 50 }PER_IO_DATA, *PPER_IO_DATA;
 51 
 52 #endif
 53 
 54 /******************************************************************
 55 *
 56 * Copyright (c) 2008, xxxxx有限公司
 57 * All rights reserved.
 58 *
 59 * 文件名稱(chēng)：main.cpp
 60 * 摘   要： iocp demo
 61 *
 62 * 當(dāng)前版本：1.0
 63 * 作    者：吳會(huì)然
 64 * 完成日期：2008-9-16
 65 *
 66 * 取代版本：
 67 * 原 作者：
 68 * 完成日期：
 69 *
 70 ******************************************************************/
 71 
 72 #include <iostream>
 73 #include <string>
 74 #include "IOCPHeader.h"
 75 using namespace std;
 76 
 77 DWORD WINAPI ServerThread( LPVOID lpParam );
 78 
 79 int main( int argc, char *argv[] )
 80 {
 81     //////////////////////////////////////////////////////////////////////////  
 82     WSADATA wsaData;
 83 
 84     if( 0 != WSAStartup( MAKEWORD( 2, 2 ), &wsaData ) )
 85     {
 86         printf( "Using %s (Status:%s)/n", wsaData.szDescription,  wsaData.szSystemStatus );
 89         printf( "with API versions: %d.%d to %d.%d",
 90                  LOBYTE( wsaData.wVersion), HIBYTE( wsaData.wVersion ),
 91                  LOBYTE( wsaData.wHighVersion), HIBYTE( wsaData.wHighVersion) );
 92 
 93         return -1;
 94     }
 95     else
 96     {
 97         printf("Windows sockets 2.2 startup/n");
 98     }
 99     //////////////////////////////////////////////////////////////////////////
100 
101     int nPort = 20055;
102 
103     // 創(chuàng)建完成端口對(duì)象
104     // 創(chuàng)建工作線程處理完成端口對(duì)象的事件
105     HANDLE hIocp = ::CreateIoCompletionPort( INVALID_HANDLE_VALUE, 0, 0, 0 );
106     ::CreateThread( NULL, 0, ServerThread, (LPVOID)hIocp, 0, 0 );
107 
108     // 創(chuàng)建監(jiān)聽(tīng)套接字，綁定本地端口，開(kāi)始監(jiān)聽(tīng)
109     SOCKET sListen = ::socket( AF_INET,-SOCK_STREAM, 0 );
110 
111     SOCKADDR_IN addr;
112     addr.sin_family = AF_INET;
113     addr.sin_port = ::htons( nPort );
114     addr.sin_addr.S_un.S_addr = INADDR_ANY;
115     ::bind( sListen, (sockaddr *)&addr, sizeof( addr ) );
116     ::listen( sListen, 5 );
117 
118     printf( "iocp demo start/n" );
119 
120     // 循環(huán)處理到來(lái)的請(qǐng)求
121     while ( TRUE )
122     {
123         // 等待接受未決的連接請(qǐng)求
124         SOCKADDR_IN saRemote;
125         int nRemoteLen = sizeof( saRemote );
126         SOCKET sRemote = ::accept( sListen, (sockaddr *)&saRemote, &nRemoteLen );
127 
128         // 接受到新連接之后，為它創(chuàng)建一個(gè)per_handle數(shù)據(jù)，并將他們關(guān)聯(lián)到完成端口對(duì)象
131         PPER_HANDLE_DATA pPerHandle = ( PPER_HANDLE_DATA )::GlobalAlloc( GPTR, sizeof( PPER_HANDLE_DATA ) );
134         if( pPerHandle == NULL )
135         {
136             break;
137         }
138 
139         pPerHandle->s = sRemote;
140         memcpy( &pPerHandle->addr, &saRemote, nRemoteLen );
141 
142         ::CreateIoCompletionPort( ( HANDLE)pPerHandle->s, hIocp, (DWORD)pPerHandle, 0 );
145 
146         // 投遞一個(gè)接受請(qǐng)求
147         PPER_IO_DATA pIoData = ( PPER_IO_DATA )::GlobalAlloc( GPTR, sizeof( PPER_IO_DATA ) );
150         if( pIoData == NULL )
151         {
152             break;
153         }
154 
155         pIoData->nOperationType = OP_READ;
156         WSABUF buf;
157         buf.buf = pIoData->buf;
158         buf.len = BUFFER_SIZE;
159         
160         DWORD dwRecv = 0;
161         DWORD dwFlags = 0;
162 
163         ::WSARecv( pPerHandle->s, &buf, 1, &dwRecv, &dwFlags, &pIoData->ol, NULL );
167     }
168 
169     //////////////////////////////////////////////////////////////////////////
170     ERROR_PROC:
171     WSACleanup();
172     //////////////////////////////////////////////////////////////////////////
173 
174     return 0;
175 }
176 
177 /******************************************************************
178 * 函數(shù)介紹：處理完成端口對(duì)象事件的線程
179 * 輸入?yún)?shù)：
180 * 輸出參數(shù)：
181 * 返回值 ：
182 *******************************************************************/
183 DWORD WINAPI ServerThread( LPVOID lpParam )
184 {
185     HANDLE hIocp = ( HANDLE )lpParam;
186     if( hIocp == NULL )
187     {
188         return -1;
189     }
190 
191     DWORD dwTrans = 0;
192     PPER_HANDLE_DATA pPerHandle;
193     PPER_IO_DATA     pPerIo;
194     
195     while( TRUE )
196     {
197         // 在關(guān)聯(lián)到此完成端口的所有套接字上等待I/O完成
198         BOOL bRet = ::GetQueuedCompletionStatus( hIocp, &dwTrans, (LPDWORD)&pPerHandle, (LPOVERLAPPED*)&pPerIo, WSA_INFINITE );
201         if( !bRet )     // 發(fā)生錯(cuò)誤
202         {
203             ::closesocket( pPerHandle->s );
204             ::GlobalFree( pPerHandle );
205             ::GlobalFree( pPerIo );
206 
207             cout << "error" << endl;
208             continue;
209         }
210 
211         // 套接字被對(duì)方關(guān)閉
212         if( dwTrans == 0 && ( pPerIo->nOperationType == OP_READ || pPerIo->nOperationType&nb-sp;== OP_WRITE ) )
215         {
216             ::closesocket( pPerHandle->s );
217             ::GlobalFree( pPerHandle );
218             ::GlobalFree( pPerIo );
219 
220             cout << "client closed" << endl;
221             continue;
222         }
223 
224         switch ( pPerIo->nOperationType )
225         {
226         case OP_READ:       // 完成一個(gè)接收請(qǐng)求
227             {
228                 pPerIo->buf[dwTrans] = '/0';
229                 printf( "%s/n", pPerIo->buf );
230 
231                 // 繼續(xù)投遞接受操作
232                 WSABUF buf;
233                 buf.buf = pPerIo->buf;
234                 buf.len = BUFFER_SIZE;
235                 pPerIo->nOperationType = OP_READ;
236                 
237                 DWORD dwRecv = 0;
238                 DWORD dwFlags = 0;
239                 
240                 ::WSARecv( pPerHandle->s, &buf, 1, &dwRecv, &dwFlags, &pPerIo->ol, NULL );
244             }
245             break;
246         case OP_WRITE:
247         case OP_ACCEPT:
248             break;
249 
250         }
251 
252     }
253 
254     return 0;
255 }

本文轉(zhuǎn)自：http://blog.csdn.net/shigaopb/article/details/6114163