如果你想在Windows平臺上構(gòu)建服務(wù)器應(yīng)用，那么I/O模型是你必須考慮的。Windows操作系統(tǒng)提供了選擇（Select）、異步選擇（WSAAsyncSelect）、事件選擇（WSAEventSelect）、重疊I/O（Overlapped I/O）和完成端口（Completion Port)共五種I/O模型。每一種模型均適用于一種特定的應(yīng)用場景。程序員應(yīng)該對自己的應(yīng)用需求非常明確，而且綜合考慮到程序的擴(kuò)展性和可移植性等因素，作出自己的選擇。

我會以一個回應(yīng)反射式服務(wù)器（與《Windows網(wǎng)絡(luò)編程》第八章一樣）來介紹這五種I/O模型。
我們假設(shè)客戶端的代碼如下（為代碼直觀，省去所有錯誤檢查，以下同）：

#include <WINSOCK2.H>
#include <stdio.h>

#define SERVER_ADDRESS "137.117.2.148"
#define PORT           5150
#define MSGSIZE        1024

#pragma comment(lib, "ws2_32.lib")

int main()
{
  WSADATA     wsaData;
  SOCKET      sClient;
  SOCKADDR_IN server;
  char        szMessage[MSGSIZE];
  int         ret;
 
  // Initialize Windows socket library
  WSAStartup(0x0202, &wsaData);

  // Create client socket
  sClient = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);

  // Connect to server
  memset(&server, 0, sizeof(SOCKADDR_IN));
  server.sin_family = AF_INET;
  server.sin_addr.S_un.S_addr = inet_addr(SERVER_ADDRESS);
  server.sin_port = htons(PORT);

  connect(sClient, (struct sockaddr *)&server, sizeof(SOCKADDR_IN));

  while (TRUE)
  {
    printf("Send:");
  gets(szMessage);

    // Send message
    send(sClient, szMessage, strlen(szMessage), 0);

    // Receive message
    ret = recv(sClient, szMessage, MSGSIZE, 0);
    szMessage[ret] = '\0';

    printf("Received [%d bytes]: '%s'\n", ret, szMessage);
  }

  // Clean up
  closesocket(sClient);
  WSACleanup();
  return 0;
}

客戶端所做的事情相當(dāng)簡單，創(chuàng)建套接字，連接服務(wù)器，然后不停的發(fā)送和接收數(shù)據(jù)。

比較容易想到的一種服務(wù)器模型就是采用一個主線程，負(fù)責(zé)監(jiān)聽客戶端的連接請求，當(dāng)接收到某個客戶端的連接請求后，創(chuàng)建一個專門用于和該客戶端通信的套接字和一個輔助線程。以后該客戶端和服務(wù)器的交互都在這個輔助線程內(nèi)完成。這種方法比較直觀，程序非常簡單而且可移植性好，但是不能利用平臺相關(guān)的特性。例如，如果連接數(shù)增多的時候（成千上萬的連接），那么線程數(shù)成倍增長，操作系統(tǒng)忙于頻繁的線程間切換，而且大部分線程在其生命周期內(nèi)都是處于非活動狀態(tài)的，這大大浪費(fèi)了系統(tǒng)的資源。所以，如果你已經(jīng)知道你的代碼只會運(yùn)行在Windows平臺上，建議采用Winsock I/O模型。

一.選擇模型
Select（選擇）模型是Winsock中最常見的I/O模型。之所以稱其為“Select模型”，是由于它的“中心思想”便是利用select函數(shù)，實(shí)現(xiàn)對I/O的管理。最初設(shè)計該模型時，主要面向的是某些使用UNIX操作系統(tǒng)的計算機(jī)，它們采用的是Berkeley套接字方案。Select模型已集成到Winsock 1.1中，它使那些想避免在套接字調(diào)用過程中被無辜“鎖定”的應(yīng)用程序，采取一種有序的方式，同時進(jìn)行對多個套接字的管理。由于Winsock 1.1向后兼容于Berkeley套接字實(shí)施方案，所以假如有一個Berkeley套接字應(yīng)用使用了select函數(shù)，那么從理論角度講，毋需對其進(jìn)行任何修改，便可正常運(yùn)行。（節(jié)選自《Windows網(wǎng)絡(luò)編程》第八章)
下面的這段程序就是利用選擇模型實(shí)現(xiàn)的Echo服務(wù)器的代碼（已經(jīng)不能再精簡了）：

#include <winsock.h>
#include <stdio.h>

#define PORT       5150
#define MSGSIZE    1024

#pragma comment(lib, "ws2_32.lib")

int    g_iTotalConn = 0;
SOCKET g_CliSocketArr[FD_SETSIZE];

DWORD WINAPI WorkerThread(LPVOID lpParameter);

int main()
{
  WSADATA     wsaData;
  SOCKET      sListen, sClient;
  SOCKADDR_IN local, client;
  int         iaddrSize = sizeof(SOCKADDR_IN);
  DWORD       dwThreadId;

  // Initialize Windows socket library
  WSAStartup(0x0202, &wsaData);

  // Create listening socket
  sListen = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);

  // Bind
  local.sin_addr.S_un.S_addr = htonl(INADDR_ANY);
 local.sin_family = AF_INET;
 local.sin_port = htons(PORT);
  bind(sListen, (struct sockaddr *)&local, sizeof(SOCKADDR_IN));

  // Listen
  listen(sListen, 3);

  // Create worker thread
  CreateThread(NULL, 0, WorkerThread, NULL, 0, &dwThreadId); 

  while (TRUE)
  {
    // Accept a connection
    sClient = accept(sListen, (struct sockaddr *)&client, &iaddrSize);
    printf("Accepted client:%s:%d\n", inet_ntoa(client.sin_addr), ntohs(client.sin_port));

    // Add socket to g_CliSocketArr
    g_CliSocketArr[g_iTotalConn++] = sClient;
  }
 
  return 0;
}

DWORD WINAPI WorkerThread(LPVOID lpParam)
{
  int            i;
  fd_set         fdread;
  int            ret;
  struct timeval tv = {1, 0};
  char           szMessage[MSGSIZE];
 
  while (TRUE)
  {
    FD_ZERO(&fdread);
    for (i = 0; i < g_iTotalConn; i++)
    {
      FD_SET(g_CliSocketArr[i], &fdread);
    }

    // We only care read event
    ret = select(0, &fdread, NULL, NULL, &tv);

    if (ret == 0)
    {
      // Time expired
      continue;
    }

    for (i = 0; i < g_iTotalConn; i++)
    {
      if (FD_ISSET(g_CliSocketArr[i], &fdread))
      {
        // A read event happened on g_CliSocketArr[i]
        ret = recv(g_CliSocketArr[i], szMessage, MSGSIZE, 0);
    if (ret == 0 || (ret == SOCKET_ERROR && WSAGetLastError() == WSAECONNRESET))
    {
     // Client socket closed
          printf("Client socket %d closed.\n", g_CliSocketArr[i]);
     closesocket(g_CliSocketArr[i]);
     if (i < g_iTotalConn - 1)
          {           
            g_CliSocketArr[i--] = g_CliSocketArr[--g_iTotalConn];
          }
        }
    else
    {
     // We received a message from client
          szMessage[ret] = '\0';
     send(g_CliSocketArr[i], szMessage, strlen(szMessage), 0);
        }
      }
    }
  }
 
  return 0;
}

服務(wù)器的幾個主要動作如下：
1.創(chuàng)建監(jiān)聽套接字，綁定，監(jiān)聽；
2.創(chuàng)建工作者線程；
3.創(chuàng)建一個套接字?jǐn)?shù)組，用來存放當(dāng)前所有活動的客戶端套接字，每accept一個連接就更新一次數(shù)組；
4.接受客戶端的連接。這里有一點(diǎn)需要注意的，就是我沒有重新定義FD_SETSIZE宏，所以服務(wù)器最多支持的并發(fā)連接數(shù)為64。而且，這里決不能無條件的accept,服務(wù)器應(yīng)該根據(jù)當(dāng)前的連接數(shù)來決定是否接受來自某個客戶端的連接。一種比較好的實(shí)現(xiàn)方案就是采用WSAAccept函數(shù)，而且讓W(xué)SAAccept回調(diào)自己實(shí)現(xiàn)的Condition Function。如下所示：

int CALLBACK ConditionFunc(LPWSABUF lpCallerId,LPWSABUF lpCallerData, LPQOS lpSQOS,LPQOS lpGQOS,LPWSABUF lpCalleeId, LPWSABUF lpCalleeData,GROUP FAR * g,DWORD dwCallbackData)
{
 if (當(dāng)前連接數(shù) < FD_SETSIZE)
  return CF_ACCEPT;
 else
  return CF_REJECT;
}

工作者線程里面是一個死循環(huán)，一次循環(huán)完成的動作是：
1.將當(dāng)前所有的客戶端套接字加入到讀集fdread中；
2.調(diào)用select函數(shù)；
3.查看某個套接字是否仍然處于讀集中，如果是，則接收數(shù)據(jù)。如果接收的數(shù)據(jù)長度為0，或者發(fā)生WSAECONNRESET錯誤，則表示客戶端套接字主動關(guān)閉，這時需要將服務(wù)器中對應(yīng)的套接字所綁定的資源釋放掉，然后調(diào)整我們的套接字?jǐn)?shù)組（將數(shù)組中最后一個套接字挪到當(dāng)前的位置上）

除了需要有條件接受客戶端的連接外，還需要在連接數(shù)為0的情形下做特殊處理，因?yàn)槿绻x集中沒有任何套接字，select函數(shù)會立刻返回，這將導(dǎo)致工作者線程成為一個毫無停頓的死循環(huán)，CPU的占用率馬上達(dá)到100%。

二.異步選擇
Winsock提供了一個有用的異步I/O模型。利用這個模型，應(yīng)用程序可在一個套接字上，接收以Windows消息為基礎(chǔ)的網(wǎng)絡(luò)事件通知。具體的做法是在建好一個套接字后，調(diào)用WSAAsyncSelect函數(shù)。該模型最早出現(xiàn)于Winsock的1.1版本中，用于幫助應(yīng)用程序開發(fā)者面向一些早期的16位Windows平臺（如Windows for Workgroups），適應(yīng)其“落后”的多任務(wù)消息環(huán)境。應(yīng)用程序仍可從這種模型中得到好處，特別是它們用一個標(biāo)準(zhǔn)的Windows例程（常稱為"WndProc"），對窗口消息進(jìn)行管理的時候。該模型亦得到了Microsoft Foundation Class（微軟基本類，MFC）對象CSocket的采納。（節(jié)選自《Windows網(wǎng)絡(luò)編程》第八章)
我還是先貼出代碼，然后做詳細(xì)解釋：
#include <winsock.h>
#include <tchar.h>

#define PORT      5150
#define MSGSIZE   1024
#define WM_SOCKET WM_USER+0

#pragma comment(lib, "ws2_32.lib")

LRESULT CALLBACK WndProc(HWND, UINT, WPARAM, LPARAM);

int WINAPI WinMain(HINSTANCE hInstance, HINSTANCE hPrevInstance, PSTR szCmdLine, int iCmdShow)
{
  static TCHAR szAppName[] = _T("AsyncSelect Model");
  HWND         hwnd ;
  MSG          msg ;
  WNDCLASS     wndclass ;

  wndclass.style         = CS_HREDRAW | CS_VREDRAW ;
  wndclass.lpfnWndProc   = WndProc ;
  wndclass.cbClsExtra    = 0 ;
  wndclass.cbWndExtra    = 0 ;
  wndclass.hInstance     = hInstance ;
  wndclass.hIcon         = LoadIcon (NULL, IDI_APPLICATION) ;
  wndclass.hCursor       = LoadCursor (NULL, IDC_ARROW) ;
  wndclass.hbrBackground = (HBRUSH) GetStockObject (WHITE_BRUSH) ;
  wndclass.lpszMenuName  = NULL ;
  wndclass.lpszClassName = szAppName ;

  if (!RegisterClass(&wndclass))
  {
    MessageBox (NULL, TEXT ("This program requires Windows NT!"), szAppName, MB_ICONERROR) ;
    return 0 ;
  }

  hwnd = CreateWindow (szAppName,                  // window class name
                       TEXT ("AsyncSelect Model"), // window caption
                       WS_OVERLAPPEDWINDOW,        // window style
                       CW_USEDEFAULT,              // initial x position
                       CW_USEDEFAULT,              // initial y position
                       CW_USEDEFAULT,              // initial x size
                       CW_USEDEFAULT,              // initial y size
                       NULL,                       // parent window handle
                       NULL,                       // window menu handle
                       hInstance,                  // program instance handle
                       NULL) ;                     // creation parameters

  ShowWindow(hwnd, iCmdShow);
  UpdateWindow(hwnd);

  while (GetMessage(&msg, NULL, 0, 0))
  {
    TranslateMessage(&msg) ;
    DispatchMessage(&msg) ;
  }
 
  return msg.wParam;
}

LRESULT CALLBACK WndProc (HWND hwnd, UINT message, WPARAM wParam, LPARAM lParam)
{
  WSADATA       wsd;
  static SOCKET sListen;
  SOCKET        sClient;
  SOCKADDR_IN   local, client;
  int           ret, iAddrSize = sizeof(client);
  char          szMessage[MSGSIZE];

  switch (message)
  {
 case WM_CREATE:
    // Initialize Windows Socket library
  WSAStartup(0x0202, &wsd);
 
  // Create listening socket
    sListen = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
   
  // Bind
    local.sin_addr.S_un.S_addr = htonl(INADDR_ANY);
  local.sin_family = AF_INET;
  local.sin_port = htons(PORT);
  bind(sListen, (struct sockaddr *)&local, sizeof(local));
 
  // Listen
    listen(sListen, 3);

    // Associate listening socket with FD_ACCEPT event
  WSAAsyncSelect(sListen, hwnd, WM_SOCKET, FD_ACCEPT);
  return 0;

  case WM_DESTROY:
    closesocket(sListen);
    WSACleanup();
    PostQuitMessage(0);
    return 0;
 
  case WM_SOCKET:
    if (WSAGETSELECTERROR(lParam))
    {
      closesocket(wParam);
      break;
    }
   
    switch (WSAGETSELECTEVENT(lParam))
    {
    case FD_ACCEPT:
      // Accept a connection from client
      sClient = accept(wParam, (struct sockaddr *)&client, &iAddrSize);
     
      // Associate client socket with FD_READ and FD_CLOSE event
      WSAAsyncSelect(sClient, hwnd, WM_SOCKET, FD_READ | FD_CLOSE);
      break;

    case FD_READ:
      ret = recv(wParam, szMessage, MSGSIZE, 0);

      if (ret == 0 || ret == SOCKET_ERROR && WSAGetLastError() == WSAECONNRESET)
      {
        closesocket(wParam);
      }
      else
      {
        szMessage[ret] = '\0';
        send(wParam, szMessage, strlen(szMessage), 0);
      }
      break;
     
    case FD_CLOSE:
      closesocket(wParam);     
      break;
    }
    return 0;
  }
 
  return DefWindowProc(hwnd, message, wParam, lParam);
}

 在我看來，WSAAsyncSelect是最簡單的一種Winsock I/O模型（之所以說它簡單是因?yàn)橐粋€主線程就搞定了）。使用Raw Windows API寫過窗口類應(yīng)用程序的人應(yīng)該都能看得懂。這里，我們需要做的僅僅是：
1.在WM_CREATE消息處理函數(shù)中，初始化Windows Socket library，創(chuàng)建監(jiān)聽套接字，綁定，監(jiān)聽，并且調(diào)用WSAAsyncSelect函數(shù)表示我們關(guān)心在監(jiān)聽套接字上發(fā)生的FD_ACCEPT事件；
2.自定義一個消息WM_SOCKET，一旦在我們所關(guān)心的套接字（監(jiān)聽套接字和客戶端套接字）上發(fā)生了某個事件，系統(tǒng)就會調(diào)用WndProc并且message參數(shù)被設(shè)置為WM_SOCKET；
3.在WM_SOCKET的消息處理函數(shù)中，分別對FD_ACCEPT、FD_READ和FD_CLOSE事件進(jìn)行處理；
4.在窗口銷毀消息(WM_DESTROY)的處理函數(shù)中，我們關(guān)閉監(jiān)聽套接字，清除Windows Socket library

下面這張用于WSAAsyncSelect函數(shù)的網(wǎng)絡(luò)事件類型表可以讓你對各個網(wǎng)絡(luò)事件有更清楚的認(rèn)識：
表1

FD_READ 應(yīng)用程序想要接收有關(guān)是否可讀的通知，以便讀入數(shù)據(jù)
FD_WRITE 應(yīng)用程序想要接收有關(guān)是否可寫的通知，以便寫入數(shù)據(jù)
FD_OOB 應(yīng)用程序想接收是否有帶外（OOB）數(shù)據(jù)抵達(dá)的通知
FD_ACCEPT 應(yīng)用程序想接收與進(jìn)入連接有關(guān)的通知
FD_CONNECT 應(yīng)用程序想接收與一次連接或者多點(diǎn)join操作完成的通知
FD_CLOSE 應(yīng)用程序想接收與套接字關(guān)閉有關(guān)的通知
FD_QOS 應(yīng)用程序想接收套接字“服務(wù)質(zhì)量”（QoS）發(fā)生更改的通知
FD_GROUP_QOS  應(yīng)用程序想接收套接字組“服務(wù)質(zhì)量”發(fā)生更改的通知（現(xiàn)在沒什么用處，為未來套接字組的使用保留）
FD_ROUTING_INTERFACE_CHANGE 應(yīng)用程序想接收在指定的方向上，與路由接口發(fā)生變化的通知
FD_ADDRESS_LIST_CHANGE  應(yīng)用程序想接收針對套接字的協(xié)議家族，本地地址列表發(fā)生變化的通知

三.事件選擇
Winsock提供了另一個有用的異步I/O模型。和WSAAsyncSelect模型類似的是，它也允許應(yīng)用程序在一個或多個套接字上，接收以事件為基礎(chǔ)的網(wǎng)絡(luò)事件通知。對于表1總結(jié)的、由WSAAsyncSelect模型采用的網(wǎng)絡(luò)事件來說，它們均可原封不動地移植到新模型。在用新模型開發(fā)的應(yīng)用程序中，也能接收和處理所有那些事件。該模型最主要的差別在于網(wǎng)絡(luò)事件會投遞至一個事件對象句柄，而非投遞至一個窗口例程。（節(jié)選自《Windows網(wǎng)絡(luò)編程》第八章)
還是讓我們先看代碼然后進(jìn)行分析：
#include <winsock2.h>
#include <stdio.h>

#define PORT    5150
#define MSGSIZE 1024

#pragma comment(lib, "ws2_32.lib")

int      g_iTotalConn = 0;
SOCKET   g_CliSocketArr[MAXIMUM_WAIT_OBJECTS];
WSAEVENT g_CliEventArr[MAXIMUM_WAIT_OBJECTS];

DWORD WINAPI WorkerThread(LPVOID);
void Cleanup(int index);

int main()
{
  WSADATA     wsaData;
  SOCKET      sListen, sClient;
  SOCKADDR_IN local, client;
  DWORD       dwThreadId;
  int         iaddrSize = sizeof(SOCKADDR_IN);

  // Initialize Windows Socket library
  WSAStartup(0x0202, &wsaData);

  // Create listening socket
  sListen = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);

  // Bind
  local.sin_addr.S_un.S_addr = htonl(INADDR_ANY);
 local.sin_family = AF_INET;
 local.sin_port = htons(PORT);
  bind(sListen, (struct sockaddr *)&local, sizeof(SOCKADDR_IN));

  // Listen
  listen(sListen, 3);

  // Create worker thread
  CreateThread(NULL, 0, WorkerThread, NULL, 0, &dwThreadId);

  while (TRUE)
  {
    // Accept a connection
    sClient = accept(sListen, (struct sockaddr *)&client, &iaddrSize);
    printf("Accepted client:%s:%d\n", inet_ntoa(client.sin_addr), ntohs(client.sin_port));

    // Associate socket with network event
    g_CliSocketArr[g_iTotalConn] = sClient;
    g_CliEventArr[g_iTotalConn] = WSACreateEvent();
    WSAEventSelect(g_CliSocketArr[g_iTotalConn],
                   g_CliEventArr[g_iTotalConn],
                   FD_READ | FD_CLOSE);
    g_iTotalConn++;
  }
}

DWORD WINAPI WorkerThread(LPVOID lpParam)
{
  int              ret, index;
  WSANETWORKEVENTS NetworkEvents;
  char             szMessage[MSGSIZE];

  while (TRUE)
  {
    ret = WSAWaitForMultipleEvents(g_iTotalConn, g_CliEventArr, FALSE, 1000, FALSE);
    if (ret == WSA_WAIT_FAILED || ret == WSA_WAIT_TIMEOUT)
    {
      continue;
    }

    index = ret - WSA_WAIT_EVENT_0;
    WSAEnumNetworkEvents(g_CliSocketArr[index], g_CliEventArr[index], &NetworkEvents);

    if (NetworkEvents.lNetworkEvents & FD_READ)
    {
      // Receive message from client
      ret = recv(g_CliSocketArr[index], szMessage, MSGSIZE, 0);
      if (ret == 0 || (ret == SOCKET_ERROR && WSAGetLastError() == WSAECONNRESET))
      {
        Cleanup(index);
      }
      else
      {
        szMessage[ret] = '\0';
        send(g_CliSocketArr[index], szMessage, strlen(szMessage), 0);
      }
    }

    if (NetworkEvents.lNetworkEvents & FD_CLOSE)
  {
   Cleanup(index);
  }
  }
  return 0;
}

void Cleanup(int index)
{
  closesocket(g_CliSocketArr[index]);
 WSACloseEvent(g_CliEventArr[index]);

 if (index < g_iTotalConn - 1)
 {
  g_CliSocketArr[index] = g_CliSocketArr[g_iTotalConn - 1];
  g_CliEventArr[index] = g_CliEventArr[g_iTotalConn - 1];
 }
 
 g_iTotalConn--;
}

事件選擇模型也比較簡單，實(shí)現(xiàn)起來也不是太復(fù)雜，它的基本思想是將每個套接字都和一個WSAEVENT對象對應(yīng)起來，并且在關(guān)聯(lián)的時候指定需要關(guān)注的哪些網(wǎng)絡(luò)事件。一旦在某個套接字上發(fā)生了我們關(guān)注的事件（FD_READ和FD_CLOSE），與之相關(guān)聯(lián)的WSAEVENT對象被Signaled。程序定義了兩個全局?jǐn)?shù)組，一個套接字?jǐn)?shù)組，一個WSAEVENT對象數(shù)組，其大小都是MAXIMUM_WAIT_OBJECTS（64），兩個數(shù)組中的元素一一對應(yīng)。
同樣的，這里的程序沒有考慮兩個問題，一是不能無條件的調(diào)用accept，因?yàn)槲覀冎С值牟l(fā)連接數(shù)有限。解決方法是將套接字按MAXIMUM_WAIT_OBJECTS分組，每MAXIMUM_WAIT_OBJECTS個套接字一組，每一組分配一個工作者線程；或者采用WSAAccept代替accept，并回調(diào)自己定義的Condition Function。第二個問題是沒有對連接數(shù)為0的情形做特殊處理，程序在連接數(shù)為0的時候CPU占用率為100%。

四.重疊I/O模型
Winsock2的發(fā)布使得Socket I/O有了和文件I/O統(tǒng)一的接口。我們可以通過使用Win32文件操縱函數(shù)ReadFile和WriteFile來進(jìn)行Socket I/O。伴隨而來的，用于普通文件I/O的重疊I/O模型和完成端口模型對Socket I/O也適用了。這些模型的優(yōu)點(diǎn)是可以達(dá)到更佳的系統(tǒng)性能，但是實(shí)現(xiàn)較為復(fù)雜，里面涉及較多的C語言技巧。例如我們在完成端口模型中會經(jīng)常用到所謂的“尾隨數(shù)據(jù)”。

1.用事件通知方式實(shí)現(xiàn)的重疊I/O模型
#include <winsock2.h>
#include <stdio.h>

#define PORT    5150
#define MSGSIZE 1024

#pragma comment(lib, "ws2_32.lib")

typedef struct
{
  WSAOVERLAPPED overlap;
  WSABUF        Buffer;
  char          szMessage[MSGSIZE];
  DWORD         NumberOfBytesRecvd;
  DWORD         Flags;
}PER_IO_OPERATION_DATA, *LPPER_IO_OPERATION_DATA;

int                     g_iTotalConn = 0;
SOCKET                  g_CliSocketArr[MAXIMUM_WAIT_OBJECTS];
WSAEVENT                g_CliEventArr[MAXIMUM_WAIT_OBJECTS];
LPPER_IO_OPERATION_DATA g_pPerIODataArr[MAXIMUM_WAIT_OBJECTS];

DWORD WINAPI WorkerThread(LPVOID);
void Cleanup(int);

int main()
{
  WSADATA     wsaData;
  SOCKET      sListen, sClient;
  SOCKADDR_IN local, client;
  DWORD       dwThreadId;
  int         iaddrSize = sizeof(SOCKADDR_IN);

  // Initialize Windows Socket library
  WSAStartup(0x0202, &wsaData);

  // Create listening socket
  sListen = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);

  // Bind
  local.sin_addr.S_un.S_addr = htonl(INADDR_ANY);
 local.sin_family = AF_INET;
 local.sin_port = htons(PORT);
  bind(sListen, (struct sockaddr *)&local, sizeof(SOCKADDR_IN));

  // Listen
  listen(sListen, 3);

  // Create worker thread
  CreateThread(NULL, 0, WorkerThread, NULL, 0, &dwThreadId);

  while (TRUE)
  {
    // Accept a connection
    sClient = accept(sListen, (struct sockaddr *)&client, &iaddrSize);
    printf("Accepted client:%s:%d\n", inet_ntoa(client.sin_addr), ntohs(client.sin_port));

    g_CliSocketArr[g_iTotalConn] = sClient;
   
    // Allocate a PER_IO_OPERATION_DATA structure
    g_pPerIODataArr[g_iTotalConn] = (LPPER_IO_OPERATION_DATA)HeapAlloc(
      GetProcessHeap(),
      HEAP_ZERO_MEMORY,
      sizeof(PER_IO_OPERATION_DATA));
    g_pPerIODataArr[g_iTotalConn]->Buffer.len = MSGSIZE;
    g_pPerIODataArr[g_iTotalConn]->Buffer.buf = g_pPerIODataArr[g_iTotalConn]->szMessage;
    g_CliEventArr[g_iTotalConn] = g_pPerIODataArr[g_iTotalConn]->overlap.hEvent = WSACreateEvent();

    // Launch an asynchronous operation
    WSARecv(
      g_CliSocketArr[g_iTotalConn],
      &g_pPerIODataArr[g_iTotalConn]->Buffer,
      1,
      &g_pPerIODataArr[g_iTotalConn]->NumberOfBytesRecvd,
      &g_pPerIODataArr[g_iTotalConn]->Flags,
      &g_pPerIODataArr[g_iTotalConn]->overlap,
      NULL);
   
    g_iTotalConn++;
  }
 
  closesocket(sListen);
  WSACleanup();
  return 0;
}

DWORD WINAPI WorkerThread(LPVOID lpParam)
{
  int   ret, index;
  DWORD cbTransferred;

  while (TRUE)
  {
    ret = WSAWaitForMultipleEvents(g_iTotalConn, g_CliEventArr, FALSE, 1000, FALSE);
    if (ret == WSA_WAIT_FAILED || ret == WSA_WAIT_TIMEOUT)
    {
      continue;
    }

    index = ret - WSA_WAIT_EVENT_0;
    WSAResetEvent(g_CliEventArr[index]);

    WSAGetOverlappedResult(
      g_CliSocketArr[index],
      &g_pPerIODataArr[index]->overlap,
      &cbTransferred,
      TRUE,
      &g_pPerIODataArr[g_iTotalConn]->Flags);

    if (cbTransferred == 0)
    {
      // The connection was closed by client
      Cleanup(index);
    }
    else
    {
      // g_pPerIODataArr[index]->szMessage contains the received data
      g_pPerIODataArr[index]->szMessage[cbTransferred] = '\0';
      send(g_CliSocketArr[index], g_pPerIODataArr[index]->szMessage,\
        cbTransferred, 0);

      // Launch another asynchronous operation
      WSARecv(
        g_CliSocketArr[index],
        &g_pPerIODataArr[index]->Buffer,
        1,
        &g_pPerIODataArr[index]->NumberOfBytesRecvd,
        &g_pPerIODataArr[index]->Flags,
        &g_pPerIODataArr[index]->overlap,
        NULL);
    }
  }

  return 0;
}

void Cleanup(int index)
{
  closesocket(g_CliSocketArr[index]);
  WSACloseEvent(g_CliEventArr[index]);
  HeapFree(GetProcessHeap(), 0, g_pPerIODataArr[index]);

  if (index < g_iTotalConn - 1)
  {
    g_CliSocketArr[index] = g_CliSocketArr[g_iTotalConn - 1];
    g_CliEventArr[index] = g_CliEventArr[g_iTotalConn - 1];
    g_pPerIODataArr[index] = g_pPerIODataArr[g_iTotalConn - 1];
  }

  g_pPerIODataArr[--g_iTotalConn] = NULL;
}

 這個模型與上述其他模型不同的是它使用Winsock2提供的異步I/O函數(shù)WSARecv。在調(diào)用WSARecv時，指定一個WSAOVERLAPPED結(jié)構(gòu)，這個調(diào)用不是阻塞的，也就是說，它會立刻返回。一旦有數(shù)據(jù)到達(dá)的時候，被指定的WSAOVERLAPPED結(jié)構(gòu)中的hEvent被Signaled。由于下面這個語句
g_CliEventArr[g_iTotalConn] = g_pPerIODataArr[g_iTotalConn]->overlap.hEvent；
使得與該套接字相關(guān)聯(lián)的WSAEVENT對象也被Signaled，所以WSAWaitForMultipleEvents的調(diào)用操作成功返回。我們現(xiàn)在應(yīng)該做的就是用與調(diào)用WSARecv相同的WSAOVERLAPPED結(jié)構(gòu)為參數(shù)調(diào)用WSAGetOverlappedResult，從而得到本次I/O傳送的字節(jié)數(shù)等相關(guān)信息。在取得接收的數(shù)據(jù)后，把數(shù)據(jù)原封不動的發(fā)送到客戶端，然后重新激活一個WSARecv異步操作。

2.用完成例程方式實(shí)現(xiàn)的重疊I/O模型
#include <WINSOCK2.H>
#include <stdio.h>

#define PORT    5150
#define MSGSIZE 1024

#pragma comment(lib, "ws2_32.lib")

typedef struct
{
 WSAOVERLAPPED overlap;
 WSABUF        Buffer;
  char          szMessage[MSGSIZE];
 DWORD         NumberOfBytesRecvd;
 DWORD         Flags;
 SOCKET        sClient;
}PER_IO_OPERATION_DATA, *LPPER_IO_OPERATION_DATA;

DWORD WINAPI WorkerThread(LPVOID);
void CALLBACK CompletionROUTINE(DWORD, DWORD, LPWSAOVERLAPPED, DWORD);

SOCKET g_sNewClientConnection;
BOOL   g_bNewConnectionArrived = FALSE;

int main()
{
  WSADATA     wsaData;
  SOCKET      sListen;
  SOCKADDR_IN local, client;
  DWORD       dwThreadId;
  int         iaddrSize = sizeof(SOCKADDR_IN);

  // Initialize Windows Socket library
  WSAStartup(0x0202, &wsaData);

  // Create listening socket
  sListen = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);

  // Bind
  local.sin_addr.S_un.S_addr = htonl(INADDR_ANY);
 local.sin_family = AF_INET;
 local.sin_port = htons(PORT);
  bind(sListen, (struct sockaddr *)&local, sizeof(SOCKADDR_IN));

  // Listen
  listen(sListen, 3);

  // Create worker thread
  CreateThread(NULL, 0, WorkerThread, NULL, 0, &dwThreadId);

  while (TRUE)
  {
    // Accept a connection
    g_sNewClientConnection = accept(sListen, (struct sockaddr *)&client, &iaddrSize);
    g_bNewConnectionArrived = TRUE;
    printf("Accepted client:%s:%d\n", inet_ntoa(client.sin_addr), ntohs(client.sin_port));
  }
}

DWORD WINAPI WorkerThread(LPVOID lpParam)
{
 LPPER_IO_OPERATION_DATA lpPerIOData = NULL;

  while (TRUE)
  {
    if (g_bNewConnectionArrived)
    {
      // Launch an asynchronous operation for new arrived connection
      lpPerIOData = (LPPER_IO_OPERATION_DATA)HeapAlloc(
        GetProcessHeap(),
        HEAP_ZERO_MEMORY,
        sizeof(PER_IO_OPERATION_DATA));
      lpPerIOData->Buffer.len = MSGSIZE;
      lpPerIOData->Buffer.buf = lpPerIOData->szMessage;
      lpPerIOData->sClient = g_sNewClientConnection;
     
      WSARecv(lpPerIOData->sClient,
        &lpPerIOData->Buffer,
        1,
        &lpPerIOData->NumberOfBytesRecvd,
        &lpPerIOData->Flags,
        &lpPerIOData->overlap,
        CompletionROUTINE);     
     
      g_bNewConnectionArrived = FALSE;
    }

    SleepEx(1000, TRUE);
  }
  return 0;
}

void CALLBACK CompletionROUTINE(DWORD dwError,
                                DWORD cbTransferred,
                                LPWSAOVERLAPPED lpOverlapped,
                                DWORD dwFlags)
{
  LPPER_IO_OPERATION_DATA lpPerIOData = (LPPER_IO_OPERATION_DATA)lpOverlapped;
 
  if (dwError != 0 || cbTransferred == 0)
 {
    // Connection was closed by client
  closesocket(lpPerIOData->sClient);
  HeapFree(GetProcessHeap(), 0, lpPerIOData);
 }
  else
  {
    lpPerIOData->szMessage[cbTransferred] = '\0';
    send(lpPerIOData->sClient, lpPerIOData->szMessage, cbTransferred, 0);
   
    // Launch another asynchronous operation
    memset(&lpPerIOData->overlap, 0, sizeof(WSAOVERLAPPED));
    lpPerIOData->Buffer.len = MSGSIZE;
    lpPerIOData->Buffer.buf = lpPerIOData->szMessage;   

    WSARecv(lpPerIOData->sClient,
      &lpPerIOData->Buffer,
      1,
      &lpPerIOData->NumberOfBytesRecvd,
      &lpPerIOData->Flags,
      &lpPerIOData->overlap,
      CompletionROUTINE);
  }
}

用完成例程來實(shí)現(xiàn)重疊I/O比用事件通知簡單得多。在這個模型中，主線程只用不停的接受連接即可；輔助線程判斷有沒有新的客戶端連接被建立，如果有，就為那個客戶端套接字激活一個異步的WSARecv操作，然后調(diào)用SleepEx使線程處于一種可警告的等待狀態(tài)，以使得I/O完成后CompletionROUTINE可以被內(nèi)核調(diào)用。如果輔助線程不調(diào)用SleepEx，則內(nèi)核在完成一次I/O操作后，無法調(diào)用完成例程（因?yàn)橥瓿衫痰倪\(yùn)行應(yīng)該和當(dāng)初激活WSARecv異步操作的代碼在同一個線程之內(nèi)）。
完成例程內(nèi)的實(shí)現(xiàn)代碼比較簡單，它取出接收到的數(shù)據(jù)，然后將數(shù)據(jù)原封不動的發(fā)送給客戶端，最后重新激活另一個WSARecv異步操作。注意，在這里用到了“尾隨數(shù)據(jù)”。我們在調(diào)用WSARecv的時候，參數(shù)lpOverlapped實(shí)際上指向一個比它大得多的結(jié)構(gòu)PER_IO_OPERATION_DATA，這個結(jié)構(gòu)除了WSAOVERLAPPED以外，還被我們附加了緩沖區(qū)的結(jié)構(gòu)信息，另外還包括客戶端套接字等重要的信息。這樣，在完成例程中通過參數(shù)lpOverlapped拿到的不僅僅是WSAOVERLAPPED結(jié)構(gòu)，還有后邊尾隨的包含客戶端套接字和接收數(shù)據(jù)緩沖區(qū)等重要信息。這樣的C語言技巧在我后面介紹完成端口的時候還會使用到。

五.完成端口模型
“完成端口”模型是迄今為止最為復(fù)雜的一種I/O模型。然而，假若一個應(yīng)用程序同時需要管理為數(shù)眾多的套接字，那么采用這種模型，往往可以達(dá)到最佳的系統(tǒng)性能！但不幸的是，該模型只適用于Windows NT和Windows 2000操作系統(tǒng)。因其設(shè)計的復(fù)雜性，只有在你的應(yīng)用程序需要同時管理數(shù)百乃至上千個套接字的時候，而且希望隨著系統(tǒng)內(nèi)安裝的CPU數(shù)量的增多，應(yīng)用程序的性能也可以線性提升，才應(yīng)考慮采用“完成端口”模型。要記住的一個基本準(zhǔn)則是，假如要為Windows NT或Windows 2000開發(fā)高性能的服務(wù)器應(yīng)用，同時希望為大量套接字I/O請求提供服務(wù)（Web服務(wù)器便是這方面的典型例子），那么I/O完成端口模型便是最佳選擇?。ü?jié)選自《Windows網(wǎng)絡(luò)編程》第八章）
完成端口模型是我最喜愛的一種模型。雖然其實(shí)現(xiàn)比較復(fù)雜（其實(shí)我覺得它的實(shí)現(xiàn)比用事件通知實(shí)現(xiàn)的重疊I/O簡單多了），但其效率是驚人的。我在T公司的時候曾經(jīng)幫同事寫過一個郵件服務(wù)器的性能測試程序，用的就是完成端口模型。結(jié)果表明，完成端口模型在多連接（成千上萬）的情況下，僅僅依靠一兩個輔助線程，就可以達(dá)到非常高的吞吐量。下面我還是從代碼說起：
#include <WINSOCK2.H>
#include <stdio.h>

#define PORT    5150
#define MSGSIZE 1024

#pragma comment(lib, "ws2_32.lib")

typedef enum
{
  RECV_POSTED
}OPERATION_TYPE;

typedef struct
{
 WSAOVERLAPPED  overlap;
 WSABUF         Buffer;
  char           szMessage[MSGSIZE];
 DWORD          NumberOfBytesRecvd;
 DWORD          Flags;
 OPERATION_TYPE OperationType;
}PER_IO_OPERATION_DATA, *LPPER_IO_OPERATION_DATA;

DWORD WINAPI WorkerThread(LPVOID);

int main()
{
  WSADATA                 wsaData;
  SOCKET                  sListen, sClient;
  SOCKADDR_IN             local, client;
  DWORD                   i, dwThreadId;
  int                     iaddrSize = sizeof(SOCKADDR_IN);
  HANDLE                  CompletionPort = INVALID_HANDLE_VALUE;
  SYSTEM_INFO             systeminfo;
  LPPER_IO_OPERATION_DATA lpPerIOData = NULL;

  // Initialize Windows Socket library
  WSAStartup(0x0202, &wsaData);

  // Create completion port
  CompletionPort = CreateIoCompletionPort(INVALID_HANDLE_VALUE, NULL, 0, 0);

  // Create worker thread
  GetSystemInfo(&systeminfo);
  for (i = 0; i < systeminfo.dwNumberOfProcessors; i++)
  {
    CreateThread(NULL, 0, WorkerThread, CompletionPort, 0, &dwThreadId);
  }
 
  // Create listening socket
  sListen = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);

  // Bind
  local.sin_addr.S_un.S_addr = htonl(INADDR_ANY);
 local.sin_family = AF_INET;
 local.sin_port = htons(PORT);
  bind(sListen, (struct sockaddr *)&local, sizeof(SOCKADDR_IN));

  // Listen
  listen(sListen, 3);

  while (TRUE)
  {
    // Accept a connection
    sClient = accept(sListen, (struct sockaddr *)&client, &iaddrSize);
    printf("Accepted client:%s:%d\n", inet_ntoa(client.sin_addr), ntohs(client.sin_port));

    // Associate the newly arrived client socket with completion port
    CreateIoCompletionPort((HANDLE)sClient, CompletionPort, (DWORD)sClient, 0);
   
    // Launch an asynchronous operation for new arrived connection
    lpPerIOData = (LPPER_IO_OPERATION_DATA)HeapAlloc(
      GetProcessHeap(),
      HEAP_ZERO_MEMORY,
      sizeof(PER_IO_OPERATION_DATA));
    lpPerIOData->Buffer.len = MSGSIZE;
    lpPerIOData->Buffer.buf = lpPerIOData->szMessage;
    lpPerIOData->OperationType = RECV_POSTED;
    WSARecv(sClient,
      &lpPerIOData->Buffer,
      1,
      &lpPerIOData->NumberOfBytesRecvd,
      &lpPerIOData->Flags,
      &lpPerIOData->overlap,
      NULL);
  }

  PostQueuedCompletionStatus(CompletionPort, 0xFFFFFFFF, 0, NULL);
 CloseHandle(CompletionPort);
 closesocket(sListen);
 WSACleanup();
 return 0;
}

DWORD WINAPI WorkerThread(LPVOID CompletionPortID)
{
  HANDLE                  CompletionPort=(HANDLE)CompletionPortID;
  DWORD                   dwBytesTransferred;
  SOCKET                  sClient;
  LPPER_IO_OPERATION_DATA lpPerIOData = NULL;

  while (TRUE)
  {
    GetQueuedCompletionStatus(
      CompletionPort,
      &dwBytesTransferred,
      &sClient,
      (LPOVERLAPPED *)&lpPerIOData,
      INFINITE);
    if (dwBytesTransferred == 0xFFFFFFFF)
    {
      return 0;
    }
   
    if (lpPerIOData->OperationType == RECV_POSTED)
    {
      if (dwBytesTransferred == 0)
      {
        // Connection was closed by client
        closesocket(sClient);
        HeapFree(GetProcessHeap(), 0, lpPerIOData);       
      }
      else
      {
        lpPerIOData->szMessage[dwBytesTransferred] = '\0';
        send(sClient, lpPerIOData->szMessage, dwBytesTransferred, 0);
       
        // Launch another asynchronous operation for sClient
        memset(lpPerIOData, 0, sizeof(PER_IO_OPERATION_DATA));
        lpPerIOData->Buffer.len = MSGSIZE;
        lpPerIOData->Buffer.buf = lpPerIOData->szMessage;
        lpPerIOData->OperationType = RECV_POSTED;
        WSARecv(sClient,
          &lpPerIOData->Buffer,
          1,
          &lpPerIOData->NumberOfBytesRecvd,
          &lpPerIOData->Flags,
          &lpPerIOData->overlap,
          NULL);
      }
    }
  }
 return 0;
}

 首先，說說主線程：
1.創(chuàng)建完成端口對象
2.創(chuàng)建工作者線程（這里工作者線程的數(shù)量是按照CPU的個數(shù)來決定的，這樣可以達(dá)到最佳性能）
3.創(chuàng)建監(jiān)聽套接字，綁定，監(jiān)聽，然后程序進(jìn)入循環(huán)
4.在循環(huán)中，我做了以下幾件事情：
 (1).接受一個客戶端連接
 (2).將該客戶端套接字與完成端口綁定到一起(還是調(diào)用CreateIoCompletionPort，但這次的作用不同)，注意，按道理來講，此時傳遞給CreateIoCompletionPort的第三個參數(shù)應(yīng)該是一個完成鍵，一般來講，程序都是傳遞一個單句柄數(shù)據(jù)結(jié)構(gòu)的地址，該單句柄數(shù)據(jù)包含了和該客戶端連接有關(guān)的信息，由于我們只關(guān)心套接字句柄，所以直接將套接字句柄作為完成鍵傳遞；
 (3).觸發(fā)一個WSARecv異步調(diào)用，這次又用到了“尾隨數(shù)據(jù)”，使接收數(shù)據(jù)所用的緩沖區(qū)緊跟在WSAOVERLAPPED對象之后，此外，還有操作類型等重要信息。
 
在工作者線程的循環(huán)中，我們
1.調(diào)用GetQueuedCompletionStatus取得本次I/O的相關(guān)信息（例如套接字句柄、傳送的字節(jié)數(shù)、單I/O數(shù)據(jù)結(jié)構(gòu)的地址等等）
2.通過單I/O數(shù)據(jù)結(jié)構(gòu)找到接收數(shù)據(jù)緩沖區(qū)，然后將數(shù)據(jù)原封不動的發(fā)送到客戶端
3.再次觸發(fā)一個WSARecv異步操作

六.五種I/O模型的比較
我會從以下幾個方面來進(jìn)行比較
*有無每線程64連接數(shù)限制
如果在選擇模型中沒有重新定義FD_SETSIZE宏，則每個fd_set默認(rèn)可以裝下64個SOCKET。同樣的，受MAXIMUM_WAIT_OBJECTS宏的影響，事件選擇、用事件通知實(shí)現(xiàn)的重疊I/O都有每線程最大64連接數(shù)限制。如果連接數(shù)成千上萬，則必須對客戶端套接字進(jìn)行分組，這樣，勢必增加程序的復(fù)雜度。
相反，異步選擇、用完成例程實(shí)現(xiàn)的重疊I/O和完成端口不受此限制。

*線程數(shù)
除了異步選擇以外，其他模型至少需要2個線程。一個主線程和一個輔助線程。同樣的，如果連接數(shù)大于64，則選擇模型、事件選擇和用事件通知實(shí)現(xiàn)的重疊I/O的線程數(shù)還要增加。

*實(shí)現(xiàn)的復(fù)雜度
我的個人看法是，在實(shí)現(xiàn)難度上，異步選擇<選擇<用完成例程實(shí)現(xiàn)的重疊I/O<事件選擇<完成端口<用事件通知實(shí)現(xiàn)的重疊I/O

*性能
由于選擇模型中每次都要重設(shè)讀集，在select函數(shù)返回后還要針對所有套接字進(jìn)行逐一測試，我的感覺是效率比較差；完成端口和用完成例程實(shí)現(xiàn)的重疊I/O基本上不涉及全局?jǐn)?shù)據(jù)，效率應(yīng)該是最高的，而且在多處理器情形下完成端口還要高一些；事件選擇和用事件通知實(shí)現(xiàn)的重疊I/O在實(shí)現(xiàn)機(jī)制上都是采用WSAWaitForMultipleEvents，感覺效率差不多；至于異步選擇，不好比較。所以我的結(jié)論是:選擇<用事件通知實(shí)現(xiàn)的重疊I/O<事件選擇<用完成例程實(shí)現(xiàn)的重疊I/O<完成端口

本文來自CSDN博客，轉(zhuǎn)載請標(biāo)明出處：http://blog.csdn.net/mlite/archive/2006/04/30/699340.aspx