問題背景：上w個大小 從幾百k 到九百多m 分布的文件校驗，速度過慢
方案嘗試：多線程和單線程
線程池 校驗 和 單線程順序校驗。
-------------------
199個文件
單線程
18:25:33] is ok
[2013-04-17 18:26:12] is ok
39s
多線程：
[2013-04-17 18:28:39] check is ok!
[2013-04-17 18:29:15] check is ok!
36s
----------------------------
240文件
單線程：
[2013-04-17 18:52:21] is ok
[2013-04-17 18:52:59] is ok
38
多線程：
[2013-04-17 19:58:49] check is ok!
[2013-04-17 19:59:31] check is ok!
42
-----------------------
性能相差不大，cpu94% 左右 io 很大 估計瓶頸是 io
未完待續……
結果和執行方案，參考 http://www.shnenglu.com/cdy20/archive/2013/04/19/199563.html
歡迎指點批評 。
經過這兩天實驗。
最后確認 io 確實是瓶頸。
posted on 2013-04-17 20:03
爬 閱讀(2353)
評論(9) 編輯 收藏 引用 所屬分類:
life