技術(shù)發(fā)展日新月異, 由于長期的學(xué)習(xí)和工作原因, 積累了一些想法, 想逐步實現(xiàn)一個(或一些)較大的可以直接
商業(yè)運營的系統(tǒng), 大致包括分布式存儲系統(tǒng), 分布式計算系統(tǒng), 大表數(shù)據(jù)存儲系統(tǒng), 搜索引擎平臺, 網(wǎng)頁抓取平臺等, 主要從hawk系統(tǒng)發(fā)展而來, 技術(shù)主要來自google GFS/MapReduce/BigTable, 以及hadoop等, 希望能實現(xiàn)一套較
完整google技術(shù)平臺以應(yīng)用于普通企業(yè)甚至個人的集群存儲和計算處理, 主要還是改造自hadoop. 另外本人的hawk搜索系統(tǒng)屬于一個實驗產(chǎn)品,所以有很多不完善,hawk-6.22應(yīng)該是個較穩(wěn)定的
版本,如果希望得到源碼請直接參考hadoop/lucene/nutch等,另外由于一直較忙,而且相關(guān)文檔屬于副產(chǎn)品,寫好也不容易,難以持續(xù),個人建議直接看開源產(chǎn)品源碼更好:) 謝謝關(guān)注