互聯(lián)網(wǎng)是一個龐大的非結(jié)構(gòu)化的數(shù)據(jù)庫，將數(shù)據(jù)有效的檢索并組織呈現(xiàn)出來有著巨大的應(yīng)用前景，尤其是類似RSS的以XML為基礎(chǔ)的結(jié)構(gòu)化的數(shù)據(jù)越來越多，內(nèi)
容的組織方式越來越靈活，檢索組織并呈現(xiàn)會有著越來越廣泛的應(yīng)用范圍，同時在時效性和可讀性上也會有越來越高的要求。這一切的基礎(chǔ)是爬蟲，信息的來源入
口。一個高效，靈活可擴展的爬蟲對以上應(yīng)用都有著無可替代的重要意義。
        要設(shè)計一個爬蟲，首先需要考慮的效率。對于網(wǎng)絡(luò)而言，基于TCP/IP的通信編程有幾種方法。
第一種是單線程阻塞，這是最簡單也最容易實現(xiàn)的一種，一個例子：在Shell中通過curl，pcregrep等一系統(tǒng)命令可以直接實現(xiàn)一個簡單的
爬蟲，但同時它的效率問題也顯而易見：由于是阻塞方式讀取，dns解析，建立連接，寫入請求，讀取結(jié)果這些步驟上都會產(chǎn)生時間的延遲，從而無法有效的利用
服務(wù)器的全部資源。
第二種是多線程阻塞。建立多個阻塞的線程，分別請求不同的url。相對于第一種方法，它可以更有效的利用機器的資源，特別是網(wǎng)絡(luò)資源，因為無數(shù)線程
在同時工作，所以網(wǎng)絡(luò)會比較充分的利用，但同時對機器CPU資源的消耗也是比較大，在用戶級多線程間的頻繁切換對于性能的影響已經(jīng)值得我們考慮。
第三種是單線程非阻塞。這是目前使用的比較多的一種做法，無論在client還是server都有著廣泛的應(yīng)用。在一個線程內(nèi)打開多個非阻塞的連
接，通過poll/epoll/select對連接狀態(tài)進行判斷，在第一時間響應(yīng)請求，不但充分利用了網(wǎng)絡(luò)資源，同時也將本機CPU資源的消耗降至最低。
這種方法需要對dns請求，連接，讀寫操作都采用異步非阻塞操作，其中第一種比較復(fù)雜，可以采用adns作為解決方案，后面三個操作相對簡單可以直接在程
序內(nèi)實現(xiàn)。
效率問題解決后就需要考慮具體的設(shè)計問題了。
url肯定需要一個單獨的類進行處理，包括顯示，分析url，得到主機，端口，文件數(shù)據(jù)。
然后需要對url進行排重，需要一個比較大的url Hash表。
如果還要對網(wǎng)頁內(nèi)容進行排重，則還需要一個Document Hash表。
爬過的url需要記錄下來，由于量比較大，我們將它寫到磁盤上，所以還需要一個FIFO的類(記作urlsDisk)。
現(xiàn)在需要爬的url同樣需要一個FIFO類來處理，重新開始時，url會從定時從爬過的url
FIFO里取出來，寫到這個FIFO里。正在運行的爬蟲需要從這個FIFO里讀數(shù)據(jù)出來，加入到主機類的url列表里。當然，也會從前一個FIFO里直接
讀url出來，不過優(yōu)先級應(yīng)該比這個里面出來的url低，畢竟是已經(jīng)爬過的。
爬蟲一般是對多個網(wǎng)站進行爬取，但在同時站點內(nèi)dns的請求可以只做一次，這就需要將主機名獨立于url，單獨有一個類進行處理。
主機名解析完成后需要有一個解析完成的IP類與之應(yīng)用，用于connect的時候使用。
HTML文檔的解析類也要有一個，用來分析網(wǎng)頁，取出里面的url，加入到urlsDisk。
再加上一些字符串，調(diào)度類，一個簡單的爬蟲基本上就完成了。
以上基本上是Larbin的設(shè)計思路，Larbin在具體實現(xiàn)上還有一些特殊的處理，例如帶了一個webserver，以及對特殊文件的處理。
Larbin有一點設(shè)計不不太好，就是慢的訪問會越來越多，占用大量的連接，需要改進，另外如果對于大規(guī)模的爬蟲，這僅僅實現(xiàn)了抓取的部分，要分布式的擴
展還需要增加url的集中管理與調(diào)度以及前臺spider的分布式算法。
Larbin網(wǎng)站爬蟲簡明使用說明
larbin是一種爬蟲工具，我也是前段時間網(wǎng)上看到 Larbin 一種高效的搜索引擎爬蟲工具 一文時才知道有這么個東西，初步認定，我比較喜歡這個
工具(比起nutch的crawl來說),因為它是C++寫的，類似C嘛，我熟，可以自己改改，順便學習一下C++(幾年來的經(jīng)驗告訴我說：改別人的東西
來學一種技術(shù)比從頭寫helloworld快很多)。于是開始了我艱辛的larbin試用之旅。
　　回頭看看自己遇到的問題都是由于沒認真看文檔引起的，唉，老毛病了。下次即使是E文的也得好好看，不能盲目的試，浪費時間。 
　　larbin官方地址：http://larbin.sourceforge.net/index-eng.html



　　一，編譯 
　　這也好說，whahahaha，那是！因為從官方網(wǎng)站下下來的代碼不能編譯通過(linux gcc下)



　　./configure 
　　make



　　gcc -O3 -Wall -D_REENTRANT -c -o parse.o parse.c 
　　parse.c:115: error: conflicting types for ’adns__parse_domain’ 



　　internal.h:571: error: previous declaration of ’adns__parse_domain’ was here



　　parse.c:115: error: conflicting types for ’adns__parse_domain’
　　internal.h:571: error: previous declaration of ’adns__parse_domain’ was here 



　　gmake[1]: *** [parse.o] 錯誤 1 
　　gmake[1]: Leaving directory `/home/leo/leo/larbin-2.6.3/adns’
　　make: *** [all] 錯誤 2 
　　函數(shù)原型和定義不一致這個好改：



　　打開./adns/internal.h文件，把568－571行直接注釋掉就行了。  
　　二，運行 
　　這個就不說了，./larbin就運行了，larbin.conf中先進行配置就可以了，這個配置就不說了。。 
　　運行后可以http://host:8081 看運行狀態(tài)，不錯的想法。 larbin.conf中有個：inputPort 1976配置，
就是可以運行時增加要抓取的URL，這個想法非常好，可是？怎么加呢？象起初那樣：http://host:1976那樣是不行的，報錯？？？試了好久沒
結(jié)果，最后GDB跟蹤了一下，唉，原來直接telnet host 1976進行增加就可以了。后來看到文檔里寫的親親楚楚，暈倒。。。。。 



　　三，結(jié)果
　　哈哈，下班后找了臺機子跑了起來，那晚睡覺的時候都夢見自己的搜索引擎趕GOOGLE超BAIDU了，那個興奮啊。



　　第二天上班的時候取看結(jié)果，發(fā)現(xiàn)目錄下除了些fifo*文件外什么都沒有，那個郁悶。沒辦法啊，再看文檔 How to customize Larbin 發(fā)現(xiàn)這么段說明： 
　　The first thing you can define is the module you want to use for
ouput. This defines what you want to do with the pages larbin gets.
Here are the different options :



　　DEFAULT_OUTPUT : This module mainly does nothing, except statistics. 
　　SIMPLE_SAVE : This module saves pages on disk. It stores 2000 files per directory (with an index).



　　MIRROR_SAVE : This module saves pages on disk with the hierarchy of the site they come from. It uses one directory per site. 
　　STATS_OUTPUT : This modules makes some stats on the pages. In
order to see the results, see http://localhost:8081/output.html. 
　　靠，默認什么都沒輸出，于是認真的看了官方網(wǎng)站上僅有的兩個文檔，修改了options.h再編譯，終于有結(jié)果了。



　　我的option中改了：



　　SIMPLE_SAVE 簡單輸出一個目錄兩千個文件，包含索引。 
　　CGILEVEL＝0 處理服務(wù)器端程序，也就是但url中包含? & = 之類的querString時也處理。 
　　NO_DUP



　　其余可根據(jù)各自需要修改，詳見： How to customize Larbin 一文。



　　四，問題



　　在使用過程中發(fā)現(xiàn)，在抓網(wǎng)頁的時候，如果URL中包含未編碼(encodurl)中文時，無法抓取，簡單的看了一下在：
src/utils/url.cc中的fileNormalize 有涉及。于是寫了個encodurl函數(shù)加在url類的構(gòu)造函數(shù)里，問題就解決了。



　　由于需要比較好的可定制性，這個工具似乎還不大滿足我的需求，最終我沒使用她，而是自己用perl在WWW:SimpleRobot的基礎(chǔ)上搞了個適合我的。。再說了perl在字符竄處理上應(yīng)該不比C＋＋慢，總的來說那個小工具性能還不錯。。呵呵。



　　不過還是把這些寫出來，給沒看文檔的朋友（希望很少），也警示自己一定要認真看文檔。