這幾天在寫一個(gè)linux下的統(tǒng)計(jì)程序,主要是將一個(gè)文本文件讀取后,按行進(jìn)行分類統(tǒng)計(jì).
用C++加 Stl實(shí)現(xiàn),在windows平臺(tái)下用vc編寫,然后上傳到linux機(jī)器上用gcc編譯.
在處理上,我用了一個(gè)list<string>作為讀取行的緩沖,讀了一定的行數(shù)后就進(jìn)行處理.
在讀取文件的函數(shù)中是這樣寫的.
while (!infile.eof()) {
memset(buf, 0, sizeof(char)*2048);
infile.getline(buf, 2048);
tt = buf;
if (tt.length()) {
log_list.push_back(tt);
}
//if the file is too big, so we do statistic per 5000 lines
if (log_list.size() >= 5000) {
line_statistic(result, log_list);
log_list.clear();
}
}
一切ok, 但是這幾天要處理的文件變地很大,有100多M,我沒有多想,隨便的把
if (log_list.size() >= 5000) {
改成了
if (log_list.size() >= 50000) {
想在50000行后再進(jìn)行計(jì)算處理.不料想,在linux下運(yùn)行效率居然出奇的慢.
原先統(tǒng)計(jì)5萬行大概要20秒左右,現(xiàn)在居然要2分多.應(yīng)該是list::size()這個(gè)函數(shù)出了問題.
我以前看過vc中的list的實(shí)現(xiàn),是用一個(gè)成員變量進(jìn)行記數(shù)的,在size()中就直接返回這個(gè)
值,應(yīng)該不會(huì)有問題.
接著我看了gcc使用的stl的list::size()的實(shí)現(xiàn),它是用
std::distance(begin(), end())
來計(jì)算的.
但是在std::distance的實(shí)現(xiàn)中,它按照iterator類型的不同,實(shí)現(xiàn)的方式也不同.
而list的iterator,是屬于雙向iterator,而非隨機(jī)iterator,因此,在std::distance()
中使用了一個(gè)循環(huán)來計(jì)算值.也就是說在gcc的stl庫(kù)中,每次調(diào)用list::size()函數(shù),它都會(huì)從頭
到尾遍歷一遍.再看看我的代碼,循環(huán)里面每一步size()都要遍歷一遍list,難怪會(huì)變得
如此的慢.
沒想到stl的不同實(shí)現(xiàn)還會(huì)有這種陷阱,一不留神就撞上了.
總之 gcc中l(wèi)ist的size()是不能隨便用的,list越大,size()函數(shù)花的時(shí)間越長(zhǎng).