author : Kevin Lynx
什么是完成包？
完成包，即IO Completion Packet，是指異步IO操作完畢后OS提交給應(yīng)用層的通知包。IOCP維護(hù)了一個(gè)IO操作結(jié)果隊(duì)列，里面
保存著各種完成包。應(yīng)用層調(diào)用GQCS(也就是GetQueueCompletionStatus)函數(shù)獲取這些完成包。
最大并發(fā)線程數(shù)
在一個(gè)典型的IOCP程序里，會(huì)有一些線程調(diào)用GQCS去獲取IO操作結(jié)果。最大并發(fā)線程數(shù)指定在同一時(shí)刻處理完成包的線程數(shù)目。
該參數(shù)在調(diào)用CreateIoCompletionPort時(shí)由NumberOfConcurrentThreads指定。
工作者線程
工作者線程一般指的就是調(diào)用GQCS函數(shù)的線程。要注意的是，工作者線程數(shù)和最大并發(fā)線程數(shù)并不是同一回事(見下文)。工作者
線程由應(yīng)用層顯示創(chuàng)建(_beginthreadex 之類)。工作者線程通常是一個(gè)循環(huán)，會(huì)不斷地GQCS到完成包，然后處理完成包。
調(diào)度過程
工作者線程以是否阻塞分為兩種狀態(tài)：運(yùn)行狀態(tài)和等待狀態(tài)。當(dāng)線程做一些阻塞操作時(shí)(線程同步，甚至GQCS空的完成隊(duì)列)，線程
處于等待狀態(tài)；否則，線程處于運(yùn)行狀態(tài)。
另一方面，OS會(huì)始終保持某一時(shí)刻處于運(yùn)行狀態(tài)的線程數(shù)小于最大并發(fā)線程數(shù)。每一個(gè)調(diào)用GQCS函數(shù)的線程OS實(shí)際上都會(huì)進(jìn)行記錄，
當(dāng)完成隊(duì)列里有完成包時(shí)，OS會(huì)首先檢查當(dāng)前處于運(yùn)行狀態(tài)的工作線程數(shù)是否小于最大并發(fā)線程數(shù)，如果小于，OS會(huì)按照LIFO的順
序讓某個(gè)工作者線程從GQCS返回(此工作者線程轉(zhuǎn)換為運(yùn)行狀態(tài))。如何決定這個(gè)LIFO？這是簡單地通過調(diào)用GQCS函數(shù)的順序決定的。
從這里可以看出，這里涉及到線程喚醒和睡眠的操作。如果兩個(gè)線程被放置于同一個(gè)CPU上，就會(huì)有線程切換的開銷。因此，為了消
除這個(gè)開銷，最大并發(fā)線程數(shù)被建議為設(shè)置成CPU數(shù)量。
從以上調(diào)度過程還可以看出，如果某個(gè)處于運(yùn)行狀態(tài)的工作者線程在處理完成包時(shí)阻塞了(例如線程同步、其他IO操作)，那么就有
CPU資源處于空閑狀態(tài)。因此，我們也看到很多文檔里建議，工作者線程數(shù)為(CPU數(shù)*2+2)。
在一個(gè)等待線程轉(zhuǎn)換到運(yùn)行狀態(tài)時(shí)，有可能會(huì)出現(xiàn)短暫的時(shí)間運(yùn)行線程數(shù)超過最大并發(fā)線程數(shù)，這個(gè)時(shí)候OS會(huì)迅速地讓這個(gè)新轉(zhuǎn)換
的線程阻塞，從而減少這個(gè)數(shù)量。(關(guān)于這個(gè)觀點(diǎn)，MSDN上只說：by not allowing any new active threads，卻沒說明not allowing
what)
調(diào)度原理
這個(gè)知道了其實(shí)沒什么意義，都是內(nèi)核做的事，大致上都是操作線程control block，直接摘錄<Inside IO Completion Ports>:
The list of threads hangs off the queue object. A thread's control block data structure has a pointer in it that
references the queue object of a queue that it is associated with; if the pointer is NULL then the thread is not
associated with a queue.
So how does NT keep track of threads that become inactive because they block on something other than the completion
port" The answer lies in the queue pointer in a thread's control block. The scheduler routines that are executed
in response to a thread blocking (KeWaitForSingleObject, KeDelayExecutionThread, etc.) check the thread's queue
pointer and if its not NULL they will call KiActivateWaiterQueue, a queue-related function. KiActivateWaiterQueue
decrements the count of active threads associated with the queue, and if the result is less than the maximum and
there is at least one completion packet in the queue then the thread at the front of the queue's thread list is
woken and given the oldest packet. Conversely, whenever a thread that is associated with a queue wakes up after
blocking the scheduler executes the function KiUnwaitThread, which increments the queue's active count.