如果你想在Windows平臺上構建服務器應用,那么I/O模型是你必須考慮的。Windows操作系統提供了選擇(Select)、異步選擇(WSAAsyncSelect)、事件選擇(WSAEventSelect)、重疊I/O(Overlapped I/O)和完成端口(Completion Port)共五種I/O模型。每一種模型均適用于一種特定的應用場景。程序員應該對自己的應用需求非常明確,而且綜合考慮到程序的擴展性和可移植性等因素,作出自己的選擇。

我會以一個回應反射式服務器(與《Windows網絡編程》第八章一樣)來介紹這五種I/O模型。
我們假設客戶端的代碼如下(為代碼直觀,省去所有錯誤檢查,以下同):

#include <WINSOCK2.H>
#include <stdio.h>

#define SERVER_ADDRESS "137.117.2.148"
#define PORT           5150
#define MSGSIZE        1024

#pragma comment(lib, "ws2_32.lib")

int main()
{
WSADATA     wsaData;
SOCKET      sClient;
SOCKADDR_IN server;
char        szMessage[MSGSIZE];
int         ret;

// Initialize Windows socket library
WSAStartup(0x0202, &wsaData);

// Create client socket
sClient = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);

// Connect to server
memset(&server, 0, sizeof(SOCKADDR_IN));
server.sin_family = AF_INET;
server.sin_addr.S_un.S_addr = inet_addr(SERVER_ADDRESS);
server.sin_port = htons(PORT);

connect(sClient, (struct sockaddr *)&server, sizeof(SOCKADDR_IN));

while (TRUE)
{
    printf("Send:");
gets(szMessage);

    // Send message
    send(sClient, szMessage, strlen(szMessage), 0);

    // Receive message
    ret = recv(sClient, szMessage, MSGSIZE, 0);
    szMessage[ret] = '\0';

    printf("Received [%d bytes]: '%s'\n", ret, szMessage);
}

// Clean up
closesocket(sClient);
WSACleanup();
return 0;
}

客戶端所做的事情相當簡單,創建套接字,連接服務器,然后不停的發送和接收數據。

比較容易想到的一種服務器模型就是采用一個主線程,負責監聽客戶端的連接請求,當接收到某個客戶端的連接請求后,創建一個專門用于和該客戶端通信的套接字和一個輔助線程。以后該客戶端和服務器的交互都在這個輔助線程內完成。這種方法比較直觀,程序非常簡單而且可移植性好,但是不能利用平臺相關的特性。例如,如果連接數增多的時候(成千上萬的連接),那么線程數成倍增長,操作系統忙于頻繁的線程間切換,而且大部分線程在其生命周期內都是處于非活動狀態的,這大大浪費了系統的資源。所以,如果你已經知道你的代碼只會運行在Windows平臺上,建議采用Winsock I/O模型。

一.選擇模型
Select(選擇)模型是Winsock中最常見的I/O模型。之所以稱其為“Select模型”,是由于它的“中心思想”便是利用select函數,實現對I/O的管理。最初設計該模型時,主要面向的是某些使用UNIX操作系統的計算機,它們采用的是Berkeley套接字方案。Select模型已集成到Winsock 1.1中,它使那些想避免在套接字調用過程中被無辜“鎖定”的應用程序,采取一種有序的方式,同時進行對多個套接字的管理。由于Winsock 1.1向后兼容于Berkeley套接字實施方案,所以假如有一個Berkeley套接字應用使用了select函數,那么從理論角度講,毋需對其進行任何修改,便可正常運行。(節選自《Windows網絡編程》第八章)
下面的這段程序就是利用選擇模型實現的Echo服務器的代碼(已經不能再精簡了):

#include <winsock.h>
#include <stdio.h>

#define PORT       5150
#define MSGSIZE    1024

#pragma comment(lib, "ws2_32.lib")

int    g_iTotalConn = 0;
SOCKET g_CliSocketArr[FD_SETSIZE];

DWORD WINAPI WorkerThread(LPVOID lpParameter);

int main()
{
WSADATA     wsaData;
SOCKET      sListen, sClient;
SOCKADDR_IN local, client;
int         iaddrSize = sizeof(SOCKADDR_IN);
DWORD       dwThreadId;

// Initialize Windows socket library
WSAStartup(0x0202, &wsaData);

// Create listening socket
sListen = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);

// Bind
local.sin_addr.S_un.S_addr = htonl(INADDR_ANY);
local.sin_family = AF_INET;
local.sin_port = htons(PORT);
bind(sListen, (struct sockaddr *)&local, sizeof(SOCKADDR_IN));

// Listen
listen(sListen, 3);

// Create worker thread
CreateThread(NULL, 0, WorkerThread, NULL, 0, &dwThreadId);

while (TRUE)
{
    // Accept a connection
    sClient = accept(sListen, (struct sockaddr *)&client, &iaddrSize);
    printf("Accepted client:%s:%d\n", inet_ntoa(client.sin_addr), ntohs(client.sin_port));

    // Add socket to g_CliSocketArr
    g_CliSocketArr[g_iTotalConn++] = sClient;
}

return 0;
}

DWORD WINAPI WorkerThread(LPVOID lpParam)
{
int            i;
fd_set         fdread;
int            ret;
struct timeval tv = {1, 0};
char           szMessage[MSGSIZE];

while (TRUE)
{
    FD_ZERO(&fdread);
    for (i = 0; i < g_iTotalConn; i++)
    {
      FD_SET(g_CliSocketArr[i], &fdread);
    }

    // We only care read event
    ret = select(0, &fdread, NULL, NULL, &tv);

    if (ret == 0)
    {
      // Time expired
      continue;
    }

    for (i = 0; i < g_iTotalConn; i++)
    {
      if (FD_ISSET(g_CliSocketArr[i], &fdread))
      {
        // A read event happened on g_CliSocketArr[i]
        ret = recv(g_CliSocketArr[i], szMessage, MSGSIZE, 0);
    if (ret == 0 || (ret == SOCKET_ERROR && WSAGetLastError() == WSAECONNRESET))
    {
     // Client socket closed
          printf("Client socket %d closed.\n", g_CliSocketArr[i]);
     closesocket(g_CliSocketArr[i]);
     if (i < g_iTotalConn - 1)
          {            
            g_CliSocketArr[i--] = g_CliSocketArr[--g_iTotalConn];
          }
        }
    else
    {
     // We received a message from client
          szMessage[ret] = '\0';
     send(g_CliSocketArr[i], szMessage, strlen(szMessage), 0);
        }
      }
    }
}

return 0;
}

服務器的幾個主要動作如下:
1.創建監聽套接字,綁定,監聽;
2.創建工作者線程;
3.創建一個套接字數組,用來存放當前所有活動的客戶端套接字,每accept一個連接就更新一次數組;
4.接受客戶端的連接。這里有一點需要注意的,就是我沒有重新定義FD_SETSIZE宏,所以服務器最多支持的并發連接數為64。而且,這里決不能無條件的accept,服務器應該根據當前的連接數來決定是否接受來自某個客戶端的連接。一種比較好的實現方案就是采用WSAAccept函數,而且讓WSAAccept回調自己實現的Condition Function。如下所示:

int CALLBACK ConditionFunc(LPWSABUF lpCallerId,LPWSABUF lpCallerData, LPQOS lpSQOS,LPQOS lpGQOS,LPWSABUF lpCalleeId, LPWSABUF lpCalleeData,GROUP FAR * g,DWORD dwCallbackData)
{
if (當前連接數 < FD_SETSIZE)
return CF_ACCEPT;
else
return CF_REJECT;
}

工作者線程里面是一個死循環,一次循環完成的動作是:
1.將當前所有的客戶端套接字加入到讀集fdread中;
2.調用select函數;
3.查看某個套接字是否仍然處于讀集中,如果是,則接收數據。如果接收的數據長度為0,或者發生WSAECONNRESET錯誤,則表示客戶端套接字主動關閉,這時需要將服務器中對應的套接字所綁定的資源釋放掉,然后調整我們的套接字數組(將數組中最后一個套接字挪到當前的位置上)

除了需要有條件接受客戶端的連接外,還需要在連接數為0的情形下做特殊處理,因為如果讀集中沒有任何套接字,select函數會立刻返回,這將導致工作者線程成為一個毫無停頓的死循環,CPU的占用率馬上達到100%。

二.異步選擇
Winsock提供了一個有用的異步I/O模型。利用這個模型,應用程序可在一個套接字上,接收以Windows消息為基礎的網絡事件通知。具體的做法是在建好一個套接字后,調用WSAAsyncSelect函數。該模型最早出現于Winsock的1.1版本中,用于幫助應用程序開發者面向一些早期的16位Windows平臺(如Windows for Workgroups),適應其“落后”的多任務消息環境。應用程序仍可從這種模型中得到好處,特別是它們用一個標準的Windows例程(常稱為"WndProc"),對窗口消息進行管理的時候。該模型亦得到了Microsoft Foundation Class(微軟基本類,MFC)對象CSocket的采納。(節選自《Windows網絡編程》第八章)
我還是先貼出代碼,然后做詳細解釋:
#include <winsock.h>
#include <tchar.h>

#define PORT      5150
#define MSGSIZE   1024
#define WM_SOCKET WM_USER+0

#pragma comment(lib, "ws2_32.lib")

LRESULT CALLBACK WndProc(HWND, UINT, WPARAM, LPARAM);

int WINAPI WinMain(HINSTANCE hInstance, HINSTANCE hPrevInstance, PSTR szCmdLine, int iCmdShow)
{
static TCHAR szAppName[] = _T("AsyncSelect Model");
HWND         hwnd ;
MSG          msg ;
WNDCLASS     wndclass ;

wndclass.style         = CS_HREDRAW | CS_VREDRAW ;
wndclass.lpfnWndProc   = WndProc ;
wndclass.cbClsExtra    = 0 ;
wndclass.cbWndExtra    = 0 ;
wndclass.hInstance     = hInstance ;
wndclass.hIcon         = LoadIcon (NULL, IDI_APPLICATION) ;
wndclass.hCursor       = LoadCursor (NULL, IDC_ARROW) ;
wndclass.hbrBackground = (HBRUSH) GetStockObject (WHITE_BRUSH) ;
wndclass.lpszMenuName = NULL ;
wndclass.lpszClassName = szAppName ;

if (!RegisterClass(&wndclass))
{
    MessageBox (NULL, TEXT ("This program requires Windows NT!"), szAppName, MB_ICONERROR) ;
    return 0 ;
}

hwnd = CreateWindow (szAppName,                  // window class name
                       TEXT ("AsyncSelect Model"), // window caption
                       WS_OVERLAPPEDWINDOW,        // window style
                       CW_USEDEFAULT,              // initial x position
                       CW_USEDEFAULT,              // initial y position
                       CW_USEDEFAULT,              // initial x size
                       CW_USEDEFAULT,              // initial y size
                       NULL,                       // parent window handle
                       NULL,                       // window menu handle
                       hInstance,                  // program instance handle
                       NULL) ;                     // creation parameters

ShowWindow(hwnd, iCmdShow);
UpdateWindow(hwnd);

while (GetMessage(&msg, NULL, 0, 0))
{
    TranslateMessage(&msg) ;
    DispatchMessage(&msg) ;
}

return msg.wParam;
}

LRESULT CALLBACK WndProc (HWND hwnd, UINT message, WPARAM wParam, LPARAM lParam)
{
WSADATA       wsd;
static SOCKET sListen;
SOCKET        sClient;
SOCKADDR_IN   local, client;
int           ret, iAddrSize = sizeof(client);
char          szMessage[MSGSIZE];

switch (message)
{
case WM_CREATE:
    // Initialize Windows Socket library
WSAStartup(0x0202, &wsd);

// Create listening socket
    sListen = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
    
// Bind
    local.sin_addr.S_un.S_addr = htonl(INADDR_ANY);
local.sin_family = AF_INET;
local.sin_port = htons(PORT);
bind(sListen, (struct sockaddr *)&local, sizeof(local));

// Listen
    listen(sListen, 3);

    // Associate listening socket with FD_ACCEPT event
WSAAsyncSelect(sListen, hwnd, WM_SOCKET, FD_ACCEPT);
return 0;

case WM_DESTROY:
    closesocket(sListen);
    WSACleanup();
    PostQuitMessage(0);
    return 0;

case WM_SOCKET:
    if (WSAGETSELECTERROR(lParam))
    {
      closesocket(wParam);
      break;
    }
    
    switch (WSAGETSELECTEVENT(lParam))
    {
    case FD_ACCEPT:
      // Accept a connection from client
      sClient = accept(wParam, (struct sockaddr *)&client, &iAddrSize);
      
      // Associate client socket with FD_READ and FD_CLOSE event
      WSAAsyncSelect(sClient, hwnd, WM_SOCKET, FD_READ | FD_CLOSE);
      break;

    case FD_READ:
      ret = recv(wParam, szMessage, MSGSIZE, 0);

      if (ret == 0 || ret == SOCKET_ERROR && WSAGetLastError() == WSAECONNRESET)
      {
        closesocket(wParam);
      }
      else
      {
        szMessage[ret] = '\0';
        send(wParam, szMessage, strlen(szMessage), 0);
      }
      break;
      
    case FD_CLOSE:
      closesocket(wParam);      
      break;
    }
    return 0;
}

return DefWindowProc(hwnd, message, wParam, lParam);
}


在我看來,WSAAsyncSelect是最簡單的一種Winsock I/O模型(之所以說它簡單是因為一個主線程就搞定了)。使用Raw Windows API寫過窗口類應用程序的人應該都能看得懂。這里,我們需要做的僅僅是:
1.在WM_CREATE消息處理函數中,初始化Windows Socket library,創建監聽套接字,綁定,監聽,并且調用WSAAsyncSelect函數表示我們關心在監聽套接字上發生的FD_ACCEPT事件;
2.自定義一個消息WM_SOCKET,一旦在我們所關心的套接字(監聽套接字和客戶端套接字)上發生了某個事件,系統就會調用WndProc并且message參數被設置為WM_SOCKET;
3.在WM_SOCKET的消息處理函數中,分別對FD_ACCEPT、FD_READ和FD_CLOSE事件進行處理;
4.在窗口銷毀消息(WM_DESTROY)的處理函數中,我們關閉監聽套接字,清除Windows Socket library

下面這張用于WSAAsyncSelect函數的網絡事件類型表可以讓你對各個網絡事件有更清楚的認識:
表1

FD_READ 應用程序想要接收有關是否可讀的通知,以便讀入數據 
FD_WRITE 應用程序想要接收有關是否可寫的通知,以便寫入數據 
FD_OOB 應用程序想接收是否有帶外(OOB)數據抵達的通知 
FD_ACCEPT 應用程序想接收與進入連接有關的通知 
FD_CONNECT 應用程序想接收與一次連接或者多點join操作完成的通知 
FD_CLOSE 應用程序想接收與套接字關閉有關的通知 
FD_QOS 應用程序想接收套接字“服務質量”(QoS)發生更改的通知 
FD_GROUP_QOS 應用程序想接收套接字組“服務質量”發生更改的通知(現在沒什么用處,為未來套接字組的使用保留) 
FD_ROUTING_INTERFACE_CHANGE 應用程序想接收在指定的方向上,與路由接口發生變化的通知 
FD_ADDRESS_LIST_CHANGE 應用程序想接收針對套接字的協議家族,本地地址列表發生變化的通知

三.事件選擇
Winsock提供了另一個有用的異步I/O模型。和WSAAsyncSelect模型類似的是,它也允許應用程序在一個或多個套接字上,接收以事件為基礎的網絡事件通知。對于表1總結的、由WSAAsyncSelect模型采用的網絡事件來說,它們均可原封不動地移植到新模型。在用新模型開發的應用程序中,也能接收和處理所有那些事件。該模型最主要的差別在于網絡事件會投遞至一個事件對象句柄,而非投遞至一個窗口例程。(節選自《Windows網絡編程》第八章)
還是讓我們先看代碼然后進行分析:
#include <winsock2.h>
#include <stdio.h>

#define PORT    5150
#define MSGSIZE 1024

#pragma comment(lib, "ws2_32.lib")

int      g_iTotalConn = 0;
SOCKET   g_CliSocketArr[MAXIMUM_WAIT_OBJECTS];
WSAEVENT g_CliEventArr[MAXIMUM_WAIT_OBJECTS];

DWORD WINAPI WorkerThread(LPVOID);
void Cleanup(int index);

int main()
{
WSADATA     wsaData;
SOCKET      sListen, sClient;
SOCKADDR_IN local, client;
DWORD       dwThreadId;
int         iaddrSize = sizeof(SOCKADDR_IN);

// Initialize Windows Socket library
WSAStartup(0x0202, &wsaData);

// Create listening socket
sListen = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);

// Bind
local.sin_addr.S_un.S_addr = htonl(INADDR_ANY);
local.sin_family = AF_INET;
local.sin_port = htons(PORT);
bind(sListen, (struct sockaddr *)&local, sizeof(SOCKADDR_IN));

// Listen
listen(sListen, 3);

// Create worker thread
CreateThread(NULL, 0, WorkerThread, NULL, 0, &dwThreadId);

while (TRUE)
{
    // Accept a connection
    sClient = accept(sListen, (struct sockaddr *)&client, &iaddrSize);
    printf("Accepted client:%s:%d\n", inet_ntoa(client.sin_addr), ntohs(client.sin_port));

    // Associate socket with network event
    g_CliSocketArr[g_iTotalConn] = sClient;
    g_CliEventArr[g_iTotalConn] = WSACreateEvent();
    WSAEventSelect(g_CliSocketArr[g_iTotalConn],
                   g_CliEventArr[g_iTotalConn],
                   FD_READ | FD_CLOSE);
    g_iTotalConn++;
}
}

DWORD WINAPI WorkerThread(LPVOID lpParam)
{
int              ret, index;
WSANETWORKEVENTS NetworkEvents;
char             szMessage[MSGSIZE];

while (TRUE)
{
    ret = WSAWaitForMultipleEvents(g_iTotalConn, g_CliEventArr, FALSE, 1000, FALSE);
    if (ret == WSA_WAIT_FAILED || ret == WSA_WAIT_TIMEOUT)
    {
      continue;
    }

    index = ret - WSA_WAIT_EVENT_0;
    WSAEnumNetworkEvents(g_CliSocketArr[index], g_CliEventArr[index], &NetworkEvents);

    if (NetworkEvents.lNetworkEvents & FD_READ)
    {
      // Receive message from client
      ret = recv(g_CliSocketArr[index], szMessage, MSGSIZE, 0);
      if (ret == 0 || (ret == SOCKET_ERROR && WSAGetLastError() == WSAECONNRESET))
      {
        Cleanup(index);
      }
      else
      {
        szMessage[ret] = '\0';
        send(g_CliSocketArr[index], szMessage, strlen(szMessage), 0);
      }
    }

    if (NetworkEvents.lNetworkEvents & FD_CLOSE)
{
   Cleanup(index);
}
}
return 0;
}

void Cleanup(int index)
{
closesocket(g_CliSocketArr[index]);
WSACloseEvent(g_CliEventArr[index]);

if (index < g_iTotalConn - 1)
{
g_CliSocketArr[index] = g_CliSocketArr[g_iTotalConn - 1];
g_CliEventArr[index] = g_CliEventArr[g_iTotalConn - 1];
}

g_iTotalConn--;
}


事件選擇模型也比較簡單,實現起來也不是太復雜,它的基本思想是將每個套接字都和一個WSAEVENT對象對應起來,并且在關聯的時候指定需要關注的哪些網絡事件。一旦在某個套接字上發生了我們關注的事件(FD_READ和FD_CLOSE),與之相關聯的WSAEVENT對象被Signaled。程序定義了兩個全局數組,一個套接字數組,一個WSAEVENT對象數組,其大小都是MAXIMUM_WAIT_OBJECTS(64),兩個數組中的元素一一對應。
同樣的,這里的程序沒有考慮兩個問題,一是不能無條件的調用accept,因為我們支持的并發連接數有限。解決方法是將套接字按MAXIMUM_WAIT_OBJECTS分組,每MAXIMUM_WAIT_OBJECTS個套接字一組,每一組分配一個工作者線程;或者采用WSAAccept代替accept,并回調自己定義的Condition Function。第二個問題是沒有對連接數為0的情形做特殊處理,程序在連接數為0的時候CPU占用率為100%。

四.重疊I/O模型
Winsock2的發布使得Socket I/O有了和文件I/O統一的接口。我們可以通過使用Win32文件操縱函數ReadFile和WriteFile來進行Socket I/O。伴隨而來的,用于普通文件I/O的重疊I/O模型和完成端口模型對Socket I/O也適用了。這些模型的優點是可以達到更佳的系統性能,但是實現較為復雜,里面涉及較多的C語言技巧。例如我們在完成端口模型中會經常用到所謂的“尾隨數據”。

1.用事件通知方式實現的重疊I/O模型
#include <winsock2.h>
#include <stdio.h>

#define PORT    5150
#define MSGSIZE 1024

#pragma comment(lib, "ws2_32.lib")

typedef struct
{
WSAOVERLAPPED overlap;
WSABUF        Buffer;
char          szMessage[MSGSIZE];
DWORD         NumberOfBytesRecvd;
DWORD         Flags;
}PER_IO_OPERATION_DATA, *LPPER_IO_OPERATION_DATA;

int                     g_iTotalConn = 0;
SOCKET                  g_CliSocketArr[MAXIMUM_WAIT_OBJECTS];
WSAEVENT                g_CliEventArr[MAXIMUM_WAIT_OBJECTS];
LPPER_IO_OPERATION_DATA g_pPerIODataArr[MAXIMUM_WAIT_OBJECTS];

DWORD WINAPI WorkerThread(LPVOID);
void Cleanup(int);

int main()
{
WSADATA     wsaData;
SOCKET      sListen, sClient;
SOCKADDR_IN local, client;
DWORD       dwThreadId;
int         iaddrSize = sizeof(SOCKADDR_IN);

// Initialize Windows Socket library
WSAStartup(0x0202, &wsaData);

// Create listening socket
sListen = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);

// Bind
local.sin_addr.S_un.S_addr = htonl(INADDR_ANY);
local.sin_family = AF_INET;
local.sin_port = htons(PORT);
bind(sListen, (struct sockaddr *)&local, sizeof(SOCKADDR_IN));

// Listen
listen(sListen, 3);

// Create worker thread
CreateThread(NULL, 0, WorkerThread, NULL, 0, &dwThreadId);

while (TRUE)
{
    // Accept a connection
    sClient = accept(sListen, (struct sockaddr *)&client, &iaddrSize);
    printf("Accepted client:%s:%d\n", inet_ntoa(client.sin_addr), ntohs(client.sin_port));

    g_CliSocketArr[g_iTotalConn] = sClient;
    
    // Allocate a PER_IO_OPERATION_DATA structure
    g_pPerIODataArr[g_iTotalConn] = (LPPER_IO_OPERATION_DATA)HeapAlloc(
      GetProcessHeap(),
      HEAP_ZERO_MEMORY,
      sizeof(PER_IO_OPERATION_DATA));
    g_pPerIODataArr[g_iTotalConn]->Buffer.len = MSGSIZE;
    g_pPerIODataArr[g_iTotalConn]->Buffer.buf = g_pPerIODataArr[g_iTotalConn]->szMessage;
    g_CliEventArr[g_iTotalConn] = g_pPerIODataArr[g_iTotalConn]->overlap.hEvent = WSACreateEvent();

    // Launch an asynchronous operation
    WSARecv(
      g_CliSocketArr[g_iTotalConn],
      &g_pPerIODataArr[g_iTotalConn]->Buffer,
      1,
      &g_pPerIODataArr[g_iTotalConn]->NumberOfBytesRecvd,
      &g_pPerIODataArr[g_iTotalConn]->Flags,
      &g_pPerIODataArr[g_iTotalConn]->overlap,
      NULL);
    
    g_iTotalConn++;
}

closesocket(sListen);
WSACleanup();
return 0;
}

DWORD WINAPI WorkerThread(LPVOID lpParam)
{
int   ret, index;
DWORD cbTransferred;

while (TRUE)
{
    ret = WSAWaitForMultipleEvents(g_iTotalConn, g_CliEventArr, FALSE, 1000, FALSE);
    if (ret == WSA_WAIT_FAILED || ret == WSA_WAIT_TIMEOUT)
    {
      continue;
    }

    index = ret - WSA_WAIT_EVENT_0;
    WSAResetEvent(g_CliEventArr[index]);

    WSAGetOverlappedResult(
      g_CliSocketArr[index],
      &g_pPerIODataArr[index]->overlap,
      &cbTransferred,
      TRUE,
      &g_pPerIODataArr[g_iTotalConn]->Flags);

    if (cbTransferred == 0)
    {
      // The connection was closed by client
      Cleanup(index);
    }
    else
    {
      // g_pPerIODataArr[index]->szMessage contains the received data
      g_pPerIODataArr[index]->szMessage[cbTransferred] = '\0';
      send(g_CliSocketArr[index], g_pPerIODataArr[index]->szMessage,\
        cbTransferred, 0);

      // Launch another asynchronous operation
      WSARecv(
        g_CliSocketArr[index],
        &g_pPerIODataArr[index]->Buffer,
        1,
        &g_pPerIODataArr[index]->NumberOfBytesRecvd,
        &g_pPerIODataArr[index]->Flags,
        &g_pPerIODataArr[index]->overlap,
        NULL);
    }
}

return 0;
}

void Cleanup(int index)
{
closesocket(g_CliSocketArr[index]);
WSACloseEvent(g_CliEventArr[index]);
HeapFree(GetProcessHeap(), 0, g_pPerIODataArr[index]);

if (index < g_iTotalConn - 1)
{
    g_CliSocketArr[index] = g_CliSocketArr[g_iTotalConn - 1];
    g_CliEventArr[index] = g_CliEventArr[g_iTotalConn - 1];
    g_pPerIODataArr[index] = g_pPerIODataArr[g_iTotalConn - 1];
}

g_pPerIODataArr[--g_iTotalConn] = NULL;
}


這個模型與上述其他模型不同的是它使用Winsock2提供的異步I/O函數WSARecv。在調用WSARecv時,指定一個WSAOVERLAPPED結構,這個調用不是阻塞的,也就是說,它會立刻返回。一旦有數據到達的時候,被指定的WSAOVERLAPPED結構中的hEvent被Signaled。由于下面這個語句
g_CliEventArr[g_iTotalConn] = g_pPerIODataArr[g_iTotalConn]->overlap.hEvent;
使得與該套接字相關聯的WSAEVENT對象也被Signaled,所以WSAWaitForMultipleEvents的調用操作成功返回。我們現在應該做的就是用與調用WSARecv相同的WSAOVERLAPPED結構為參數調用WSAGetOverlappedResult,從而得到本次I/O傳送的字節數等相關信息。在取得接收的數據后,把數據原封不動的發送到客戶端,然后重新激活一個WSARecv異步操作。