Posted on 2011-01-25 15:36
點(diǎn)點(diǎn)滴滴 閱讀(755)
評(píng)論(0) 編輯 收藏 引用 所屬分類:
10 服務(wù)器
IOCP（I/O Completion Port，I/O完成端口）是性能最好的一種I/O模型。它是應(yīng)用程序使用線程池處理異步I/O請(qǐng)求的一種機(jī)制。在處理多個(gè)并發(fā)的異步I/O請(qǐng)求時(shí)，以往的模型都是在接收請(qǐng)求是創(chuàng)建一個(gè)線程來(lái)應(yīng)答請(qǐng)求。這樣就有很多的線程并行地運(yùn)行在系統(tǒng)中。而這些線程都是可運(yùn)行的，Windows內(nèi)核花費(fèi)大量的時(shí)間在進(jìn)行線程的上下文切換，并沒(méi)有多少時(shí)間花在線程運(yùn)行上。再加上創(chuàng)建新線程的開銷比較大，所以造成了效率的低下。
而IOCP模型是事先開好了N個(gè)線程，存儲(chǔ)在線程池中，讓他們hold。然后將所有用戶的請(qǐng)求都投遞到一個(gè)完成端口上，然后N個(gè)工作線程逐一地從完成端口中取得用戶消息并加以處理。這樣就避免了為每個(gè)用戶開一個(gè)線程。既減少了線程資源，又提高了線程的利用率。
完成端口模型是怎樣實(shí)現(xiàn)的呢？我們先創(chuàng)建一個(gè)完成端口（::CreateIoCompletioPort()）。然后再創(chuàng)建一個(gè)或多個(gè)工作線程，并指定他們到這個(gè)完成端口上去讀取數(shù)據(jù)。我們?cè)賹⑦h(yuǎn)程連接的套接字句柄關(guān)聯(lián)到這個(gè)完成端口（還是用::CreateIoCompletionPort()）。一切就OK了。
工作線程都干些什么呢？首先是調(diào)用::GetQueuedCompletionStatus()函數(shù)在關(guān)聯(lián)到這個(gè)完成端口上的所有套接字上等待I/O的完成。再判斷完成了什么類型的I/O。一般來(lái)說(shuō)，有三種類型的I/O，OP_ACCEPT，OP_READ和OP_WIRTE。我們到數(shù)據(jù)緩沖區(qū)內(nèi)讀取數(shù)據(jù)后，再投遞一個(gè)或是多個(gè)同類型的I/O即可（::AcceptEx()、::WSARecv()、::WSASend()）。對(duì)讀取到的數(shù)據(jù)，我們可以按照自己的需要來(lái)進(jìn)行相應(yīng)的處理。
為此，我們需要一個(gè)以O(shè)VERLAPPED（重疊I/O）結(jié)構(gòu)為第一個(gè)字段的per-I/O數(shù)據(jù)自定義結(jié)構(gòu)。
typedef struct _PER_IO_DATA
{
OVERLAPPED ol; // 重疊I/O結(jié)構(gòu)
char buf[BUFFER_SIZE]; // 數(shù)據(jù)緩沖區(qū)
int nOperationType; //I/O操作類型
#define OP_READ 1
#define OP_WRITE 2
#define OP_ACCEPT 3
} PER_IO_DATA, *PPER_IO_DATA;
將一個(gè)PER_IO_DATA結(jié)構(gòu)強(qiáng)制轉(zhuǎn)化成一個(gè)OVERLAPPED結(jié)構(gòu)傳給::GetQueuedCompletionStatus()函數(shù)，返回的這個(gè)PER_IO_DATA結(jié)構(gòu)的的nOperationType就是I/O操作的類型。當(dāng)然，這些類型都是在投遞I/O請(qǐng)求時(shí)自己設(shè)置的。
這樣一個(gè)IOCP服務(wù)器的框架就出來(lái)了。當(dāng)然，要做一個(gè)好的IOCP服務(wù)器，還有考慮很多問(wèn)題，如內(nèi)存資源管理、接受連接的方法、惡意的客戶連接、包的重排序等等。以上是個(gè)人對(duì)于IOCP模型的一些理解與看法，還有待完善。另外各Winsock API的用法參見MSDN。
補(bǔ)充IOCP模型的實(shí)現(xiàn)：
//創(chuàng)建一個(gè)完成端口
FCompletPort := CreateIoCompletionPort( INVALID_HANDLE_VALUE, 0,0,0 );
//接受遠(yuǎn)程連接，并把這個(gè)連接的socket句柄綁定到剛才創(chuàng)建的IOCP上
AConnect := accept( FListenSock, addr, len);
CreateIoCompletionPort( AConnect, FCompletPort, nil, 0 );
//創(chuàng)建CPU數(shù)*2 + 2個(gè)線程
for i:=1 to si.dwNumberOfProcessors*2+2 do
begin
AThread := TRecvSendThread.Create( false );
AThread.CompletPort := FCompletPort;//告訴這個(gè)線程，你要去這個(gè)IOCP去訪問(wèn)數(shù)據(jù)
end;
OK，就這么簡(jiǎn)單，我們要做的就是建立一個(gè)IOCP，把遠(yuǎn)程連接的socket句柄綁定到剛才創(chuàng)建的IOCP上，最后創(chuàng)建n個(gè)線程，并告訴這n個(gè)線程到這個(gè)IOCP上去訪問(wèn)數(shù)據(jù)就可以了。
再看一下TRecvSendThread線程都干些什么：
procedure TRecvSendThread.Execute;
var
begin
while (not self.Terminated) do
begin
//查詢IOCP狀態(tài)（數(shù)據(jù)讀寫操作是否完成）
GetQueuedCompletionStatus( CompletPort, BytesTransd, CompletKey, POVERLAPPED(pPerIoDat), TIME_OUT );
if BytesTransd <> 0 then
.;//數(shù)據(jù)讀寫操作完成
//再投遞一個(gè)讀數(shù)據(jù)請(qǐng)求
WSARecv( CompletKey, @(pPerIoDat^.BufData), 1, BytesRecv, Flags, @(pPerIoDat^.Overlap), nil );
end;
end;
讀寫線程只是簡(jiǎn)單地檢查IOCP是否完成了我們投遞的讀寫操作，如果完成了則再投遞一個(gè)新的讀寫請(qǐng)求。
應(yīng)該注意到，我們創(chuàng)建的所有TRecvSendThread都在訪問(wèn)同一個(gè)IOCP（因?yàn)槲覀冎粍?chuàng)建了一個(gè)IOCP），并且我們沒(méi)有使用臨界區(qū)！難道不會(huì)產(chǎn)生沖突嗎？不用考慮同步問(wèn)題嗎？
呵呵，這正是IOCP的奧妙所在。IOCP不是一個(gè)普通的對(duì)象，不需要考慮線程安全問(wèn)題。它會(huì)自動(dòng)調(diào)配訪問(wèn)它的線程：如果某個(gè)socket上有一個(gè)線程A正在訪問(wèn)，那么線程B的訪問(wèn)請(qǐng)求會(huì)被分配到另外一個(gè)socket。這一切都是由系統(tǒng)自動(dòng)調(diào)配的，我們無(wú)需過(guò)問(wèn)。