青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

loop_in_codes

低調做技術__歡迎移步我的獨立博客 codemaro.com 微博 kevinlynx

select真的有限制嗎

在剛開始學習網絡編程時,似乎莫名其妙地就會被某人/某資料告訴select函數是有fd(file descriptor)數量限制的。在最近的一次記憶里還有個人笑說select只支持64個fd。我甚至還寫過一篇不負責任甚至錯誤的博客(突破select的FD_SETSIZE限制)。有人說,直接重新定義FD_SETSIZE就可以突破這個select的限制,也有人說除了重定義這個宏之外還的重新編譯內核。

事實具體是怎樣的?實際上,造成這些混亂的原因恰好是不同平臺對select的實現不一樣。

Windows的實現

MSDN.aspx)上對select的說明:

int select(
  _In_     int nfds,
  _Inout_  fd_set *readfds,
  _Inout_  fd_set *writefds,
  _Inout_  fd_set *exceptfds,
  _In_     const struct timeval *timeout
);

nfds [in] Ignored. The nfds parameter is included only for compatibility with Berkeley sockets.

第一個參數MSDN只說沒有使用,其存在僅僅是為了保持與Berkeley Socket的兼容。

The variable FD_SETSIZE determines the maximum number of descriptors in a set. (The default value of FD_SETSIZE is 64, which can be modified by defining FD_SETSIZE to another value before including Winsock2.h.) Internally, socket handles in an fd_set structure are not represented as bit flags as in Berkeley Unix.

Windows上select的實現不同于Berkeley Unix,后者使用位標志來表示socket

在MSDN的評論中有人提到:

Unlike the Linux versions of these macros which use a single calculation to set/check the fd, the Winsock versions use a loop which goes through the entire set of fds each time you call FD_SET or FD_ISSET (check out winsock2.h and you’ll see). So you might want to consider an alternative if you have thousands of sockets!

不同于Linux下處理fd_set的那些宏(FD_CLR/FD_SET之類),Windows上這些宏的實現都使用了一個循環,看看這些宏的大致實現(Winsock2.h):

#define FD_SET(fd, set) do { \
    u_int __i; \
    for (__i = 0; __i < ((fd_set FAR *)(set))->fd_count; __i++) { \
        if (((fd_set FAR *)(set))->fd_array[__i] == (fd)) { \
            break; \
        } \
    } \
    if (__i == ((fd_set FAR *)(set))->fd_count) { \
        if (((fd_set FAR *)(set))->fd_count < FD_SETSIZE) { \
            ((fd_set FAR *)(set))->fd_array[__i] = (fd); \
            ((fd_set FAR *)(set))->fd_count++; \
        } \
    } \
} while(0)

看下Winsock2.h中關于fd_set的定義:

typedef struct fd_set {
    u_int fd_count;
    SOCKET fd_array[FD_SETSIZE];
} fd_set;

再看一篇更重要的MSDN Maximum Number of Sockets Supported.aspx):

The Microsoft Winsock provider limits the maximum number of sockets supported only by available memory on the local computer. The maximum number of sockets that a Windows Sockets application can use is not affected by the manifest constant FD_SETSIZE. If an application is designed to be capable of working with more than 64 sockets using the select and WSAPoll functions, the implementor should define the manifest FD_SETSIZE in every source file before including the Winsock2.h header file.

Windows上select支持的socket數量并不受宏FD_SETSIZE的影響,而僅僅受內存的影響。如果應用程序想使用超過FD_SETSIZE的socket,僅需要重新定義FD_SETSIZE即可。

實際上稍微想想就可以明白,既然fd_set里面已經有一個socket的數量計數,那么select的實現完全可以使用這個計數,而不是FD_SETSIZE這個宏。那么結論是,select至少在Windows上并沒有socket支持數量的限制。當然效率問題這里不談。

這看起來推翻了我們一直以來沒有深究的一個事實。

Linux的實現

在上面提到的MSDN中,其實已經提到了Windows與Berkeley Unix實現的不同。在select的API文檔中也看到了第一個參數并沒有說明其作用。看下Linux的man

nfds is the highest-numbered file descriptor in any of the three sets, plus 1.

第一個參數簡單來說就是最大描述符+1。

An fd_set is a fixed size buffer. Executing FD_CLR() or FD_SET() with a value of fd that is negative or is equal to or larger than FD_SETSIZE will result in undefined behavior.

明確說了,如果調用FD_SET之類的宏fd超過了FD_SETSIZE將導致undefined behavior。也有人專門做了測試:select system call limitation in Linux。也有現實遇到的問題:socket file descriptor (1063) is larger than FD_SETSIZE (1024), you probably need to rebuild Apache with a larger FD_SETSIZE

看起來在Linux上使用select確實有FD_SETSIZE的限制。有必要看下相關的實現 fd_set.h

typedef __uint32_t      __fd_mask;

/* 32 = 2 ^ 5 */
#define __NFDBITS       (32)
#define __NFDSHIFT      (5)
#define __NFDMASK       (__NFDBITS - 1)

/*
 * Select uses bit fields of file descriptors.  These macros manipulate
 * such bit fields.  Note: FD_SETSIZE may be defined by the user.
 */

#ifndef FD_SETSIZE
#define FD_SETSIZE      256
#endif

#define __NFD_SIZE      (((FD_SETSIZE) + (__NFDBITS - 1)) / __NFDBITS)

typedef struct fd_set {
    __fd_mask       fds_bits[__NFD_SIZE];
} fd_set;

在這份實現中不同于Windows實現,它使用了位來表示fd。看下FD_SET系列宏的大致實現:

#define FD_SET(n, p)    \
   ((p)->fds_bits[(unsigned)(n) >> __NFDSHIFT] |= (1 << ((n) & __NFDMASK)))

添加一個fd到fd_set中也不是Windows的遍歷,而是直接位運算。這里也有人對另一份類似實現做了剖析:linux的I/O多路轉接select的fd_set數據結構和相應FD_宏的實現分析。在APUE中也提到fd_set

這種數據類型(fd_set)為每一可能的描述符保持了一位。

既然fd_set中不包含其保存了多少個fd的計數,那么select的實現里要知道自己要處理多少個fd,那只能使用FD_SETSIZE宏去做判定,但Linux的實現選用了更好的方式,即通過第一個參數讓應用層告訴select需要處理的最大fd(這里不是數量)。那么其實現大概為:

for (int i = 0; i < nfds; ++i) {
    if (FD_ISSET...
       ...
}

如此看來,Linux的select實現則是受限于FD_SETSIZE的大小。這里也看到,fd_set使用位數組來保存fd,那么fd本身作為一個int數,其值就不能超過FD_SETSIZE這不僅僅是數量的限制,還是其取值的限制。實際上,Linux上fd的取值是保證了小于FD_SETSIZE的(但不是不變的)Is the value of a Linux file descriptor always smaller than the open file limits?

Each process is further limited via the setrlimit(2) RLIMIT_NOFILE per-process limit on the number of open files. 1024 is a common RLIMIT_NOFILE limit. (It’s very easy to change this limit via /etc/security/limits.conf.)

fd的取值會小于RLIMIT_NOFILE,有很多方法可以改變這個值。這個值默認情況下和FD_SETSIZE應該是一樣的。這個信息告訴我們,Linux下fd的取值應該是從0開始遞增的(理論上,實際上還有stdin/stdout/stderr之類的fd)。這才能保證select的那些宏可以工作。

應用層使用

標準的select用法應該大致如下:

while (true) {
    ...
    select(...)
    for-each socket {
        if (FD_ISSET(fd, set))
            ...
    }

    ...
}

即遍歷目前管理的fd,通過FD_ISSET去判定當前fd是否有IO事件。因為Windows的實現FD_ISSET都是一個循環,所以有了另一種不跨平臺的用法:

while (true) {
    ...
    select(. &read_sockets, &write_sockets..)
    for-each read_socket {
        use fd.fd_array[i)
    }
    ...
}

總結

  • Windows上select沒有fd數量的限制,但因為使用了循環來檢查,所以效率相對較低
  • Linux上selectFD_SETSIZE的限制,但其相對效率較高

posted on 2014-06-01 23:45 Kevin Lynx 閱讀(4961) 評論(1)  編輯 收藏 引用 所屬分類: network

評論

# re: select真的有限制嗎 2014-06-06 13:23 liyou

不錯,樓主做了自己的研究。  回復  更多評論   

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            久久综合色天天久久综合图片| 久久天堂精品| 亚洲午夜精品久久久久久浪潮 | 久久av一区二区| 极品日韩久久| 欧美激情1区2区3区| 在线观看一区二区精品视频| 能在线观看的日韩av| 久久久噜噜噜久久人人看| 国产亚洲福利一区| 这里只有精品电影| 欧美激情精品久久久久| 亚洲精品乱码| 欧美不卡激情三级在线观看| 久久人人爽人人爽| 激情婷婷欧美| 午夜精品福利视频| 亚洲欧美怡红院| 国产亚洲精品美女| 亚洲第一色在线| 国产精品成人一区| 欧美mv日韩mv国产网站app| 欧美日韩中文字幕综合视频| 欧美一级夜夜爽| 欧美91福利在线观看| 久久精品视频网| 欧美色视频在线| 亚洲黄色视屏| 亚洲激情在线| 久久亚洲国产精品日日av夜夜| 亚洲一区二区成人在线观看| 久久综合色婷婷| 麻豆成人小视频| 国产偷自视频区视频一区二区 | 亚洲精品一区二区三区不| 亚洲欧美国产精品桃花| 亚洲一区免费视频| 欧美日韩精品一区二区天天拍小说 | 韩国在线一区| 亚洲一区二区三区午夜| 久久精品国产精品亚洲| 久久精品二区| 一区在线影院| 欧美成人一区二区三区在线观看 | 欧美精品1区2区| 欧美在线观看你懂的| 国内精品视频在线播放| 老司机午夜免费精品视频| 麻豆国产精品777777在线| 伊人夜夜躁av伊人久久| 免费日韩成人| 亚洲免费在线| 亚洲国产精品福利| 亚洲精品久久久久久下一站| 国产精品成人在线观看| 欧美一区二区三区免费大片| 你懂的视频一区二区| 亚洲美女少妇无套啪啪呻吟| 国产精品国产a级| 久久尤物视频| 久久激情视频免费观看| 亚洲精品视频在线| 欧美在线观看一区二区| 日韩视频在线观看国产| 国产欧美一区视频| 国产精品美女一区二区在线观看| 久久亚洲国产成人| 久久国产一二区| 亚洲欧美激情四射在线日| 日韩亚洲欧美高清| 亚洲福利专区| 免费试看一区| 久久人体大胆视频| 欧美在线观看一二区| 亚洲欧美日韩国产精品| 亚洲黄色成人网| 亚洲精品一线二线三线无人区| 亚洲久久成人| 亚洲久色影视| 一本久久a久久免费精品不卡| 久久夜色精品国产噜噜av| 亚洲专区在线视频| 性欧美暴力猛交另类hd| 亚洲男人的天堂在线aⅴ视频| 亚洲激情视频网| 日韩一级视频免费观看在线| 亚洲无线一线二线三线区别av| 日韩视频在线免费观看| 一区二区三区你懂的| 亚洲欧美日韩综合aⅴ视频| 午夜老司机精品| 免费成人性网站| 亚洲电影视频在线| 一区二区三区高清在线 | 久久一日本道色综合久久| 在线视频日韩| 欧美一级夜夜爽| 亚洲人妖在线| 国产免费成人av| 欧美一区2区三区4区公司二百 | 欧美福利视频| 亚洲激情在线| 另类尿喷潮videofree| 久久狠狠久久综合桃花| 国产一区二区0| 欧美亚日韩国产aⅴ精品中极品| 一区二区三区视频在线播放| 在线亚洲美日韩| 亚洲韩国日本中文字幕| 欧美视频1区| 91久久国产精品91久久性色| 亚洲一区二区av电影| 亚洲激情专区| 老牛国产精品一区的观看方式| 这里只有精品视频| 99成人在线| 蜜桃久久精品乱码一区二区| 亚洲视频国产视频| 亚洲女ⅴideoshd黑人| 国产精品人人做人人爽人人添| 欧美日韩第一区日日骚| 性8sex亚洲区入口| 欧美国产精品久久| 欧美成人午夜剧场免费观看| 一区二区冒白浆视频| 亚洲国产小视频在线观看| 亚洲国产天堂久久综合| 亚洲欧洲在线免费| 亚洲伦理中文字幕| 欧美激情第六页| 一区二区精品在线| 午夜亚洲福利| 久久久噜噜噜久久人人看| 欧美一区二区成人6969| 亚洲欧美日本精品| 久久久久综合网| 欧美激情小视频| 精品不卡一区| 亚洲一区二区三区777| 亚洲精品国产精品国自产观看| 麻豆免费精品视频| 卡通动漫国产精品| 亚洲福利在线看| 欧美一区网站| 国产三级欧美三级日产三级99| 亚洲深夜福利视频| 午夜宅男久久久| 欧美成年人网站| 噜噜爱69成人精品| 欧美性淫爽ww久久久久无| 亚洲日韩欧美视频| 久久免费偷拍视频| 日韩视频免费| 亚洲一区三区电影在线观看| 玉米视频成人免费看| 99在线精品免费视频九九视| 欧美日韩国产不卡| 欧美午夜激情在线| 欧美成人精品在线播放| 国产一区二区三区无遮挡| 亚洲三级性片| 亚洲免费观看视频| 久久最新视频| 亚洲第一精品夜夜躁人人躁| 国内精品国语自产拍在线观看| 日韩一级在线观看| 亚洲视频精选| 欧美视频中文一区二区三区在线观看 | 国产精品盗摄久久久| 欧美电影免费观看| 日韩一级欧洲| 国产精品入口夜色视频大尺度 | 日韩一区二区高清| 亚洲亚洲精品三区日韩精品在线视频| 欧美日韩成人综合天天影院| 亚洲国产精品成人| 久久精品人人做人人爽电影蜜月| 欧美激情一区二区三区| 亚洲靠逼com| 久久精品国产欧美亚洲人人爽| 一区二区三区在线看| 麻豆成人91精品二区三区| 夜夜爽99久久国产综合精品女不卡| 性久久久久久久久久久久| 国产一区二区精品丝袜| 免费久久久一本精品久久区| 亚洲激情不卡| 老司机免费视频一区二区三区| 99热在线精品观看| 国产一区在线观看视频| 欧美日韩视频在线| 欧美一区二区三区免费看| 欧美黑人一区二区三区| 亚洲综合电影一区二区三区| 国产综合欧美| 国产精品日日摸夜夜摸av| 亚洲国产精品久久久久婷婷老年| 一本久道久久综合婷婷鲸鱼| 最新国产成人av网站网址麻豆| 国产精品igao视频网网址不卡日韩|