技術(shù)發(fā)展日新月異, 由于長期的學(xué)習(xí)和工作原因, 積累了一些想法, 想逐步實現(xiàn)一個(或一些)較大的可以直接
商業(yè)運營的系統(tǒng), 大致包括分布式存儲系統(tǒng), 分布式計算系統(tǒng), 大表數(shù)據(jù)存儲系統(tǒng), 搜索引擎平臺, 網(wǎng)頁抓取平臺等, 主要從hawk系統(tǒng)發(fā)展而來, 技術(shù)主要來自google GFS/MapReduce/BigTable, 以及hadoop等, 希望能實現(xiàn)一套較
完整google技術(shù)平臺以應(yīng)用于普通企業(yè)甚至個人的集群存儲和計算處理, 主要還是改造自hadoop. 另外本人的hawk搜索系統(tǒng)屬于一個實驗產(chǎn)品,所以有很多不完善,hawk-6.22應(yīng)該是個較穩(wěn)定的
版本,如果希望得到源碼請直接參考hadoop/lucene/nutch等,另外由于一直較忙,而且相關(guān)文檔屬于副產(chǎn)品,寫好也不容易,難以持續(xù),個人建議直接看開源產(chǎn)品源碼更好:) 謝謝關(guān)注

Hawk搜索引擎平臺0.6.22測試版(免費下載)

Hawk 搜索引擎平臺是面向中小型網(wǎng)站，可以定制的垂直搜索引擎平臺。本搜索引擎平臺目標是方便用戶搭建站內(nèi)搜索、某個領(lǐng)域的垂直搜索、以及檢索個人文檔以及自己關(guān)注的網(wǎng)站信息的桌面搜索等應(yīng)用領(lǐng)域。它改造自Lucene，Hadoop和Nutch系統(tǒng)，是純Java的搜索平臺軟件，可以運行于Windows及Linux等平臺，具備基本的抓取、索引和檢索功能，本搜索引擎免費下載，歡迎大家測試和使用！

Hawk 搜索引擎平臺特點簡介

• 對網(wǎng)頁進行深度抓取和分析，自定義抓取規(guī)則，實現(xiàn)站內(nèi)搜索。
• 可以索引各種常用類型文檔，實現(xiàn)桌面文檔檢索。
• 單臺PC服務(wù)器能索引上千萬文檔，可以用于中小型檢索服務(wù)。
• 可以自定義網(wǎng)頁展示模板，或XML接口，輕松與各種系統(tǒng)整合。
• 自動分析網(wǎng)頁文本，提取新詞，如人名，地名等。
• 支持檢索詞自動推薦以及繁簡轉(zhuǎn)換功能。
• 可以定制主頁的各項文字，包括包含自己的歡迎網(wǎng)頁。

擁有百萬文檔的開發(fā)文檔庫搜索

本開發(fā)文檔庫索引了大量常用軟件的開發(fā)文檔和API參考手冊，包括主要的Java文檔、RFC文檔和Linux系統(tǒng)下的文檔如man手冊等，完整的最新版MSDN聯(lián)機叢書，Android/Symbian參考手冊，Eclipse/Oracle幫助文檔，Apple和iPhone系統(tǒng)開發(fā)文檔，Solaris、OpenOffice和mysql手冊等等，超過百萬篇網(wǎng)頁及PDF等格式文檔，歡迎使用！

1. The Enterprise Library Core
2. Design of the Logging Application Block
3. Design of the Security Application Block
4. Design of the Caching Application Block
5. Design of the Validation Application Block
   

　　Apache Lucene是一個高性能（high-performance）的全能的全文檢索（full-featured text search engine）的搜索引擎框架庫，完全（entirely）使用Java開發(fā)。它是一種技術(shù)（technology），適合于（suitable for）幾乎（nearly）任何一種需要全文檢索（full-text search）的應(yīng)用，特別是跨平臺（cross-platform）的應(yīng)用。

• Annotated Lucene：第一節(jié) Lucene是什么
• Annotated Lucene：第二節(jié) 索引文件概述
• Annotated Lucene：第三節(jié) 索引文件結(jié)構(gòu)(1) - 每個Index包含的文件
• Annotated Lucene：第三節(jié) 索引文件結(jié)構(gòu)(2) - 每個Segment包含的文件
• Annotated Lucene：第三節(jié) 索引文件結(jié)構(gòu)(3) - Field數(shù)據(jù)（.fdx和.fdt）
• Annotated Lucene：第三節(jié) 索引文件結(jié)構(gòu)(4) - Term字典（.tii和.tis）
• Annotated Lucene：第三節(jié) 索引文件結(jié)構(gòu)(5) - Term頻率數(shù)據(jù)（.frq）
• Annotated Lucene：第三節(jié) 索引文件結(jié)構(gòu)(6) - Positions位置信息數(shù)據(jù)（.prx）
• Annotated Lucene：第三節(jié) 索引文件結(jié)構(gòu)(7) - Term向量文件
• Annotated Lucene：第三節(jié) 索引文件結(jié)構(gòu)(8) - 刪除的文檔 （.del）
• Annotated Lucene：第四節(jié) 索引是如何創(chuàng)建的
• Annotated Lucene：第四節(jié) 索引創(chuàng)建過程(1)
• Annotated Lucene：第四節(jié) 索引創(chuàng)建過程(2)
• Annotated Lucene：第五節(jié) 索引是如何存儲的
• Annotated Lucene：第六節(jié) 文檔內(nèi)容是如何分析的
• Annotated Lucene：第七節(jié) 如何給文檔評分

 

備注：未完待續(xù)，部分內(nèi)容和插圖譯自Lucene網(wǎng)站及代碼，個別圖片來自網(wǎng)上
Annotated Hadoop 作者：naven 日期：2008-10-20

Hawk搜索引擎平臺應(yīng)用：詞典搜索和文檔搜索

Hawk搜索引擎平臺可用來定制自己的搜索應(yīng)用服務(wù)，如站內(nèi)網(wǎng)頁搜索和桌面搜索。下面介紹兩個很有用的桌面搜索應(yīng)用。辭典搜索收錄有四十部超過800萬詞匯的常用英語和漢語詞典，如朗文，牛津，漢語大詞典等。文檔搜索服務(wù)索引了主要的Java文檔和Linux系統(tǒng)下的文檔如man手冊等，歡迎使用！



© 2008 Javen-Studio http://javenstudio.org 咖啡小屋

Hadoop原來是Apache Lucene下的一個子項目，它最初是從Nutch項目中分離出來的專門負責分布式存儲以及分布式運算的項目。簡單地說來，Hadoop是一個可以更容易開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺。本文先從源碼角度剖析MapReduce框架及運行原理。

Annotated Hadoop: 第一節(jié) Hadoop是什么
http://www.shnenglu.com/javenstudio/articles/43072.html

Annotated Hadoop: 第二節(jié) MapReduce框架結(jié)構(gòu)
http://www.shnenglu.com/javenstudio/articles/43073.html

Annotated Hadoop: 第三節(jié) MapReduce工作原理
http://www.shnenglu.com/javenstudio/articles/43075.html


未完待續(xù)
Annotated Hadoop 作者：naven 日期：2007-12-29

      Reflection 是Java被視為動態(tài)（或準動態(tài)）語言的一個關(guān)鍵性質(zhì)。這個機制允許程序在運行時透過Reflection APIs取得任何一個已知名稱的class的內(nèi)部信息，包括其modifiers（諸如public, static 等等）、superclass（例如Object）、實現(xiàn)之interfaces（例如Cloneable），也包括fields和methods的所有信息，并可于運行時改變fields內(nèi)容或喚起methods。本文借由實例，大面積示范Reflection APIs。

      http://www.shnenglu.com/javenstudio/articles/24640.html

      這是本人原創(chuàng)的系列文章制作的pdf，已陸續(xù)發(fā)布cppblog上，現(xiàn)開放下載，謝謝支持！

      1，《Javen庫的設(shè)計和使用》
      2，《LINQ，語言層面的OR映射技術(shù)，用面向?qū)ο蟛僮鲾?shù)據(jù)庫》
      3，《侯捷《C++OOPGPDP》講座心得》

20070121
javen-0.2.1 release

1, 服務(wù)器進程調(diào)度框架(master/child模式)，類似inetd
2, some brings from postfix and apache
3, you can create new serverd to be managed by master, like Singled.cpp
4, you can use javen framework to programe your code, similar as java code
5, you can manage your server by masterctl start/stop/retart
6, you can add your config parameters at main.conf and can be checked automatically
6, you can configure your server at master.conf, for example
this is similar as postfix or inetd management.

complie environments
x86 32bit:
 linux: gcc version 3.4.6 20060404 (Red Hat 3.4.6-3)
 win32: not support
x86 64bit:
  not support

http://www.shnenglu.com/javenstudio/articles/10280.html

1, download
2, download

“ 軟件工程 ” 的學(xué)科至少包括三個重要的組成部分：產(chǎn)品設(shè)計、系統(tǒng)構(gòu)架設(shè)計和項目控制，而相應(yīng)地，軟件開發(fā)隊伍中也有三個重要角色：產(chǎn)品經(jīng)理、系統(tǒng)架構(gòu)師和項目經(jīng)理。這三個角色直接關(guān)系著項目的成功或失敗。


http://www.shnenglu.com/javenstudio/articles/17759.html


作者：naven? 2005-5-10

1 、 Rational 統(tǒng)一開發(fā)過程（ Rational Unified Process 簡稱 RUP ）
2、統(tǒng)一模語言UML概述
3、面向?qū)ο筌浖_發(fā)和過程
4、應(yīng)用框架
5、模塊化和構(gòu)件化設(shè)計
6、概要設(shè)計怎么做
7、代碼規(guī)范和注釋規(guī)范
8、單元測試和測試案例
9、團隊協(xié)作及大中規(guī)模軟件開發(fā)過程
10、面向?qū)ο笤O(shè)計原則
11、設(shè)計模式
12、經(jīng)驗談


http://www.shnenglu.com/javenstudio/articles/17758.html

作者：naven? 2005-5-10

參考文獻：1、www.uml.org.cn、2、《UML：Java程序員指南》

??? 很高興侯捷老師又來公司了，給我們上了四天非常生動的技術(shù)講座，受益匪淺，現(xiàn)在我簡要介紹一下我的學(xué)習(xí)心得，與大家分享。這次講座主要集中在《 C++/OOP/GP/DP 》主題，針對有一些編程基礎(chǔ)的工程師，對一些常用的代碼和設(shè)計做了非常通俗易懂的剖析，非常有幫助。當然更深入的理解還需要結(jié)合多種技術(shù)名著來學(xué)習(xí)，我結(jié)合我的理解以及自己的學(xué)習(xí)和開發(fā)的經(jīng)驗介紹一下 C++/OO/Template 以及 Design Pattern 的理會，考慮到講座的性質(zhì)，我并不直述本次講座的內(nèi)容，歡迎批評指正 J

閱讀：http://www.shnenglu.com/javenstudio/articles/17057.html

下載：《侯捷講座心得》

fastlog 是參考 log4j 和 log4cplus 框架使用 javen c++ 庫設(shè)計實現(xiàn)的日志記錄庫，具有 log4j 庫類似的優(yōu)點，記錄日志非常方便，擴展和配置也非常容易。 Log4j 日志庫我想應(yīng)該在 java 的領(lǐng)域已經(jīng)應(yīng)用很廣泛了，這樣的日志庫可以非常方便地將日志輸出到屏幕、文件、 syslog 、遠程服務(wù)器等任何地方，而日志輸出的格式也可以任意調(diào)整，可以很容易控制輸出的日志級別，而這一切僅需修改一下配置文件，應(yīng)用程序不用作任何修改。

http://www.shnenglu.com/javenstudio/articles/11114.html

Socket 通訊程序估計現(xiàn)在大多數(shù)應(yīng)用系統(tǒng)都會涉及到，所以實現(xiàn)一個標準統(tǒng)一使用更簡潔的API非常有用。本C++框架基本參考Java的Socket相關(guān)類實現(xiàn)了類似封裝，除了ServerSocket實現(xiàn)稍有不同，其他原理和方法基本類似。用它編寫網(wǎng)絡(luò)應(yīng)用基本不用考慮底層的協(xié)議處理，使用非常容易，代碼也更簡潔易讀。


http://www.shnenglu.com/javenstudio/articles/11068.html

TCP/UDP 是網(wǎng)絡(luò)編程的基礎(chǔ)技術(shù)，分別代表面向連接的穩(wěn)定的網(wǎng)絡(luò)通信技術(shù)和非連接方式的廣播形式的網(wǎng)絡(luò)通信技術(shù)，它們都建立在 IP 層之上，所以 IP 層的封裝尤為重要。 IP 層的封裝接口主要包括 DNS 的查詢、 IP 地址和域名的互查、本地 IP 及名字的查詢等，目前 IP 層使用的主要實現(xiàn)技術(shù)是 IPv4 ，但是未來會慢慢升級到容量更大的 IPv6 ，所以 IP 層的封裝需要要同時支持這兩種協(xié)議。操作系統(tǒng)實現(xiàn)它們都是通過增加新的 API 以及新的地址結(jié)構(gòu)實現(xiàn)的，開發(fā)者編寫跨協(xié)議的網(wǎng)絡(luò)應(yīng)用需要編寫較復(fù)雜的程序來區(qū)分 IPv4 和 IPv6 協(xié)議，優(yōu)秀的 ACE 框架則通過條件編譯來支持 IPv6 ，好像不能同時在程序中使用 IPv4 和 IPv6 協(xié)議。本 C++ 框架參考 Java 的 InetAddress 及相關(guān)類實現(xiàn)了類似跨協(xié)議的 IP 層封裝，編寫網(wǎng)絡(luò)應(yīng)用基本不用考慮兩種協(xié)議的不同，應(yīng)為它們對外的接口類都是 InetAddress ，另外同時提供了與 Java 一樣簡單的域名和 IP 地址互查的接口，使用非常容易。

http://www.shnenglu.com/javenstudio/articles/4336.html

第一章 親密接觸Lucene

未完待續(xù)（最近太忙，顧不上了，看英文原版吧）


譯者 Naven & Scar

I/O流，即輸入/輸出流（Input/Output Stream），是軟件框架中的核心系統(tǒng)。對程序設(shè)計語言設(shè)計者來說，設(shè)計一個令人滿意的I/O系統(tǒng)，是件極艱巨的任務(wù)，也是不可缺少的基礎(chǔ)設(shè)施。C++的標準模板庫已經(jīng)提供一套很不錯的I/O流庫了，但是我還是喜歡Java和.Net框架提供的那樣的使用簡單且擴展性強的I/O系統(tǒng)，而且還需要自行做一些改進已融入到C++通用框架體系中，由于I/O系統(tǒng)是框架的基礎(chǔ)設(shè)施，所以設(shè)計它是很關(guān)鍵的任務(wù)。


閱讀請點 http://www.shnenglu.com/javenstudio/articles/1028.html

時間和日歷以及時間的格式化處理在軟件的設(shè)計中起著非常重要的作用，但是目前C++的庫卻未有一個簡單易用的時間類，大部分都需要開發(fā)者直接調(diào)用操作系統(tǒng)的API來完成，而且很多API都不是線程安全的。某些大型的C++框架雖然提供一些時間類，但是卻不通用，也很難直接拿出來使用。下面介紹一下參考Java Framework中的時間相關(guān)的類來設(shè)計并實現(xiàn)C++版本的時間和日歷類。

閱讀請點 http://www.shnenglu.com/javenstudio/articles/1018.html

1、郵件解析框架FastMail庫介紹

1、什么是持久化和對象關(guān)系映射ORM技術(shù)