查看最大線程數(shù):
cat /proc/sys/kernel/threads-max
ulimit
User limits - limit the use of system-wide resources.
Syntax
ulimit [-acdfHlmnpsStuv] [limit]
Options
-S Change and report the soft limit associated with a resource.
-H Change and report the hard limit associated with a resource.
-a All current limits are reported.
-c The maximum size of core files created.
-d The maximum size of a process's data segment.
-f The maximum size of files created by the shell(default option)
-l The maximum size that may be locked into memory.
-m The maximum resident set size.
-n The maximum number of open file descriptors.
-p The pipe buffer size.
-s The maximum stack size.
-t The maximum amount of cpu time in seconds.
-u The maximum number of processes available to a single user.
-v The maximum amount of virtual memory available to the process.
ulimit provides control over the resources available to the shell and to processes started by it, on systems that allow such control.
If limit is given, it is the new value of the specified resource. Otherwise, the current value of the soft limit for the specified resource is printed, unless the `-H' option is supplied.
When setting new limits, if neither `-H' nor `-S' is supplied, both the hard and soft limits are set.
Values are in 1024-byte increments, except for `-t', which is in seconds, `-p', which is in units of 512-byte blocks, and `-n' and `-u', which are unscaled values.
The return status is zero unless an invalid option is supplied, a non-numeric argument other than unlimited is supplied as a limit, or an error occurs while setting a new limit.
ulimit is a bash built in command.
Ulimit命令
設(shè)置限制 可以把命令加到profile文件里,也可以在/etc/security/limits.conf文件中定義
限制。
命令參數(shù)
-a 顯示所有限制
-c core文件大小的上限
-d 進(jìn)程數(shù)據(jù)段大小的上限
-f shell所能創(chuàng)建的文件大小的上限
-m 駐留內(nèi)存大小的上限
-s 堆棧大小的上限
-t 每秒可占用的CPU時(shí)間上限
-p 管道大小
-n 打開(kāi)文件數(shù)的上限
-u 進(jìn)程數(shù)的上限
-v 虛擬內(nèi)存的上限
除可用Ulimit命令設(shè)置外,也可以在/etc/security/limits.conf文件中定義限制。
domino type item value
domino是以符號(hào)@開(kāi)頭的用戶名或組名,*表示所有用戶,type設(shè)置為hard or soft。item指
定想限制的資源。如cpu,core nproc or maxlogins。value是相應(yīng)的限制值。
系統(tǒng)限制默認(rèn)值
[root@flyinweb ~]# ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 32764
max locked memory (kbytes, -l) 32
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 10240
cpu time (seconds, -t) unlimited
max user processes (-u) 32764
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
[root@flyinweb ~]# lsb_release -a
LSB Version: :core-3.1-ia32:core-3.1-noarch:graphics-3.1-ia32:graphics-3.1-noarch
Distributor ID: CentOS
Description: CentOS release 5.2 (Final)
Release: 5.2
Codename: Final
linux 系統(tǒng)中單個(gè)進(jìn)程的最大線程數(shù)有其最大的限制 PTHREAD_THREADS_MAX
這個(gè)限制可以在 /usr/include/bits/local_lim.h 中查看
對(duì) linuxthreads 這個(gè)值一般是 1024,對(duì)于 nptl 則沒(méi)有硬性的限制,僅僅受限于系統(tǒng)的資源
這個(gè)系統(tǒng)的資源主要就是線程的 stack 所占用的內(nèi)存,用 ulimit -s 可以查看默認(rèn)的線程棧大小,一般情況下,這個(gè)值是 8M
可以寫(xiě)一段簡(jiǎn)單的代碼驗(yàn)證最多可以創(chuàng)建多少個(gè)線程
int main() { int i = 0; pthread_t thread; while (1) { if (pthread_create(&thread, NULL, foo, NULL) != 0) return; i ++; printf("i = %d\n", i); } }
試驗(yàn)顯示,在 linuxthreads 上最多可以創(chuàng)建 381 個(gè)線程,之后就會(huì)返回 EAGAIN
在 nptl 上最多可以創(chuàng)建 382 個(gè)線程,之后就會(huì)返回 ENOMEM
這個(gè)值和理論完全相符,因?yàn)?32 位 linux 下的進(jìn)程用戶空間是 3G 的大小,也就是 3072M,用 3072M 除以 8M 得 384,但是實(shí)際上代碼段和數(shù)據(jù)段等還要占用一些空間,這個(gè)值應(yīng)該向下取整到 383,再減去主線程,得到 382。
那為什么 linuxthreads 上還要少一個(gè)線程呢?這可太對(duì)了,因?yàn)?linuxthreads 還需要一個(gè)管理線程
為了突破內(nèi)存的限制,可以有兩種方法
1) 用 ulimit -s 1024 減小默認(rèn)的棧大小
2) 調(diào)用 pthread_create 的時(shí)候用 pthread_attr_getstacksize 設(shè)置一個(gè)較小的棧大小
要注意的是,即使這樣的也無(wú)法突破 1024 個(gè)線程的硬限制,除非重新編譯 C 庫(kù)
相關(guān)內(nèi)容:
一、2.4內(nèi)核與2.6內(nèi)核的主要區(qū)別
在2.4內(nèi)核的典型系統(tǒng)上(AS3/RH9),線程是用輕量進(jìn)程實(shí)現(xiàn)的,每個(gè)線程要占用一個(gè)進(jìn)程ID,在服務(wù)器程序上,如果遇到高點(diǎn)擊率訪問(wèn),會(huì)造成進(jìn)程表溢出,系統(tǒng)為了維護(hù)溢出的進(jìn)程表,會(huì)有間歇的暫停服務(wù)現(xiàn)象,而2.6內(nèi)核就不會(huì)發(fā)生由于大量線程的創(chuàng)建和銷毀導(dǎo)致進(jìn)程表溢出的問(wèn)題
二、線程結(jié)束必須釋放線程堆棧
就是說(shuō),線程函數(shù)必須調(diào)用pthread_exit()結(jié)束,否則直到主進(jìn)程函數(shù)退出才釋放,特別是2.6內(nèi)核環(huán)境,線程創(chuàng)建速度飛快,一不小心立刻內(nèi)存被吃光,這一點(diǎn)反倒是2.4內(nèi)核環(huán)境好,因?yàn)?.4內(nèi)核創(chuàng)建的是進(jìn)程,而且線程創(chuàng)建速度比2.6內(nèi)核慢幾個(gè)數(shù)量級(jí)。特別提醒,在64位CPU,2.6內(nèi)核創(chuàng)建線程的速度更加瘋狂,要是太快的話,加上usleep ()暫停一點(diǎn)點(diǎn)時(shí)間比較好
三、不要編需要鎖的線程應(yīng)用
只有那些不需要互斥量的程序才能最大限度的利用線程編程帶來(lái)的好處,否則只會(huì)更慢,2.6內(nèi)核是搶占式內(nèi)核,線程間共享沖突發(fā)生的幾率遠(yuǎn)比2.4內(nèi)核環(huán)境高,尤其要注意線程安全,否則就算是單CPU也會(huì)發(fā)生莫名其妙的內(nèi)存不同步(CPU的高速緩存和主存內(nèi)容不一致),Intel的新CPU為了性能使用NUMA架構(gòu),在線程編程中一定要注意揚(yáng)長(zhǎng)避短。
四、單進(jìn)程服務(wù)器最大并發(fā)線程數(shù)與內(nèi)存
很有趣,在默認(rèn)的ulimit參數(shù)下,不修改內(nèi)核頭文件
AS3 512M內(nèi)存最多1000并發(fā)持續(xù)連接
CentOS4.3 512M內(nèi)存最多300并發(fā)持續(xù)連接
似乎是CentOS不如AS3,這里主要原因是ulimit的配置造成,兩個(gè)系統(tǒng)默認(rèn)的配置差距很大,要想單進(jìn)程維持更多線程接收并發(fā)連接,就要盡量縮小 ulimit -s的參數(shù),插更多的內(nèi)存條,單進(jìn)程服務(wù)器上2000并發(fā)一點(diǎn)都不難,POSIX默認(rèn)的限制是每進(jìn)程64線程,但NTPL并非純正POSIX,不必理會(huì)這個(gè)限制,2.6內(nèi)核下真正的限制是內(nèi)存條的插槽數(shù)目(也許還有買(mǎi)內(nèi)存的錢(qián)數(shù))
最近幾天的編程中,注意到在32位x86平臺(tái)上2.6內(nèi)核單進(jìn)程創(chuàng)建最大線程數(shù)=VIRT上限/stack,與總內(nèi)存數(shù)關(guān)系不大,32位x86系統(tǒng)默認(rèn)的VIRT上限是3G(內(nèi)存分配的3G+1G方式),默認(rèn) stack大小是10240K,因此單進(jìn)程創(chuàng)建線程默認(rèn)上限也就300(3072M / 10240K),用ulimit -s 修改stack到1024K則使上限升到大約3050。我手頭沒(méi)有64位系統(tǒng),不知道2.6內(nèi)核在64位上單進(jìn)程創(chuàng)建線程上限(實(shí)際上是本人懶得在同事的機(jī)器上裝fc4_x86_64)。
前些天買(mǎi)了一套廉價(jià)的64位x86系統(tǒng)(64位賽楊+雜牌915主板),安裝了CentOS4.3的x86_64版本,跑了一遍下面的小程序,得到的結(jié)果是:在ulimit -s 4096的情況下,單進(jìn)程最大線程數(shù)在16000多一點(diǎn),用top看
VIRT 的上限是64G,也就是36位, cat /proc/cpuinfo的結(jié)果是:address sizes : 36 bits physical, 48 bits virtual, 和我想象的標(biāo)準(zhǔn)64位系統(tǒng)不同, 我一直以為64位系統(tǒng)的內(nèi)存空間也是64位的
附注1:
單位里某BSD FANS用AMD64筆記本跑小程序測(cè)試線程創(chuàng)建速度(線程創(chuàng)建后立即phread_detach()然后緊跟著pthread_exit(),共計(jì) 100萬(wàn)個(gè)線程),同樣源碼OpenBSD竟然比FreeBSD快了3倍,什么時(shí)候OpenBSD也變得瘋狂起來(lái)了?
附注2:
測(cè)試單進(jìn)程創(chuàng)建線程上限C源碼(test.c):
#include <stdio.h> #include <string.h> #include <stdlib.h> #include <unistd.h> #include <pthread.h> void * thread_null(void); int main(int argc, char*argv[]) { unsigned int i; int rc; pthread_t pool_id[65536]; //線程ID sleep(1); //創(chuàng)建線程 for(i = 0; i < 65536; i++) { rc = pthread_create(pool_id + i, 0, (void*)thread_null, NULL); if (0 != rc) { fprintf(stderr, "pthread_create() failure\r\nMax pthread num is %d\r\n", i); exit(-1); } } fprintf(stdout, "Max pthread num is 65536\r\nYour system is power_full\r\n"); exit(0); } void * thread_null(void) { pthread_detach(pthread_self()); sleep(60); pthread_exit(NULL); }
編譯:
[root@localhost test]# gcc test.c -o test -lpthread
[root@localhost test]# ulimit -s 10240
[root@localhost test]# ./test
pthread_create() failure
Max pthread num is 305
[root@localhost test]# ulimit -s 1024
[root@localhost test]# ./test
pthread_create() failure
Max pthread num is 3054
以上結(jié)果在 CentOS release 5.2 (32Bit)系統(tǒng)上測(cè)試得到