gevent作為一款優秀的網絡通信框架,其出色的性能得到大家一致認可,但在處理并行任務的時候也要注意很多問題,不然您的服務器將變得異常緩慢。
http://blog.163.com/lxl_1995/blog/static/677173392012724103742746/
這篇博文講的非常清楚,建議讀一下
gevent的特點如下:
1. 單線程執行,所有協程都在同一進程中被模擬和調度分派
2. 可以創建成千上萬的 協程,而不會受任何性能影響
3. 由于spawn的協程不是os分配和管理,所以不會有額外的線程資源分配,cpu也不用在這些線程之間調度切換
4. 單線程執行,無需考慮資源互斥
5. 協程之間切換是通過gevent的io阻塞完成,例如 gevent.sleep(0), queue.get/put,event,socket....
每調用一次gevent 的api,gevent就能獲得一次schedule的機會(這很類似操作系統的用戶調用中斷,由用戶態切換到內核態)
以上特點保證gevent的性能非常出色,但當我們的server用到第三方軟件包的時候那要非常小心了,特別是這些包內部涉及了io操作。
如果第三方軟件包是純python的那很簡單,只需要gevent.monkey_patch(xxx)就okay; 但如果包是擴展clib,那要當心了,monkey_patch
并不能將其相關io操作打上補丁,為了使用這些第三方軟件包,要求這些軟件包必須支持 協程異步 接口(調用其同步io接口,將阻塞住gevent的執行線程,那gevent就完蛋了)。
gevent的patch對psycopg2無效,因為psycopg2的通信部分是c接口的函數庫,還好psycopg2內部支持協程,需要使用 到
psycogreen 這個東東
psycogreen.gevent.patch_psycopg() 支持協程
之后的在gevent的線程中執行sql并等待數據返回時,gevent立馬將執行切換到另外的線程
gvent項目中會用到各種諸多的第三方庫,必須要求這些庫的io接口不能是阻塞的,也就是能支持到gevent異步模式
應用邏輯代碼在被執行時(無系統api呼叫),單線程比多線程執行速度更快。循環執行一段計算二次函數代碼,由于期間沒有系統api調用,os不能進行內核tasklet切換,所以導致cpu的峰值可以攀升到90%,直到硬件、時鐘等中斷產生,強行切換到其他線程。 多核心cpu表現為單個核始終異常的忙碌,其他幾個比較空閑。