技術發展日新月異, 由于長期的學習和工作原因, 積累了一些想法, 想逐步實現一個(或一些)較大的可以直接
商業運營的系統, 大致包括分布式存儲系統, 分布式計算系統, 大表數據存儲系統, 搜索引擎平臺, 網頁抓取平臺等, 主要從hawk系統發展而來, 技術主要來自google GFS/MapReduce/BigTable, 以及hadoop等, 希望能實現一套較
完整google技術平臺以應用于普通企業甚至個人的集群存儲和計算處理, 主要還是改造自hadoop. 另外本人的hawk搜索系統屬于一個實驗產品,所以有很多不完善,hawk-6.22應該是個較穩定的
版本,如果希望得到源碼請直接參考hadoop/lucene/nutch等,另外由于一直較忙,而且相關文檔屬于副產品,寫好也不容易,難以持續,個人建議直接看開源產品源碼更好:) 謝謝關注

Hawk搜索引擎平臺0.6.22測試版(免費下載)

Hawk 搜索引擎平臺是面向中小型網站，可以定制的垂直搜索引擎平臺。本搜索引擎平臺目標是方便用戶搭建站內搜索、某個領域的垂直搜索、以及檢索個人文檔以及自己關注的網站信息的桌面搜索等應用領域。它改造自Lucene，Hadoop和Nutch系統，是純Java的搜索平臺軟件，可以運行于Windows及Linux等平臺，具備基本的抓取、索引和檢索功能，本搜索引擎免費下載，歡迎大家測試和使用！

Hawk 搜索引擎平臺特點簡介

• 對網頁進行深度抓取和分析，自定義抓取規則，實現站內搜索。
• 可以索引各種常用類型文檔，實現桌面文檔檢索。
• 單臺PC服務器能索引上千萬文檔，可以用于中小型檢索服務。
• 可以自定義網頁展示模板，或XML接口，輕松與各種系統整合。
• 自動分析網頁文本，提取新詞，如人名，地名等。
• 支持檢索詞自動推薦以及繁簡轉換功能。
• 可以定制主頁的各項文字，包括包含自己的歡迎網頁。

擁有百萬文檔的開發文檔庫搜索

本開發文檔庫索引了大量常用軟件的開發文檔和API參考手冊，包括主要的Java文檔、RFC文檔和Linux系統下的文檔如man手冊等，完整的最新版MSDN聯機叢書，Android/Symbian參考手冊，Eclipse/Oracle幫助文檔，Apple和iPhone系統開發文檔，Solaris、OpenOffice和mysql手冊等等，超過百萬篇網頁及PDF等格式文檔，歡迎使用！

1. The Enterprise Library Core
2. Design of the Logging Application Block
3. Design of the Security Application Block
4. Design of the Caching Application Block
5. Design of the Validation Application Block
   

　　Apache Lucene是一個高性能（high-performance）的全能的全文檢索（full-featured text search engine）的搜索引擎框架庫，完全（entirely）使用Java開發。它是一種技術（technology），適合于（suitable for）幾乎（nearly）任何一種需要全文檢索（full-text search）的應用，特別是跨平臺（cross-platform）的應用。

• Annotated Lucene：第一節 Lucene是什么
• Annotated Lucene：第二節 索引文件概述
• Annotated Lucene：第三節 索引文件結構(1) - 每個Index包含的文件
• Annotated Lucene：第三節 索引文件結構(2) - 每個Segment包含的文件
• Annotated Lucene：第三節 索引文件結構(3) - Field數據（.fdx和.fdt）
• Annotated Lucene：第三節 索引文件結構(4) - Term字典（.tii和.tis）
• Annotated Lucene：第三節 索引文件結構(5) - Term頻率數據（.frq）
• Annotated Lucene：第三節 索引文件結構(6) - Positions位置信息數據（.prx）
• Annotated Lucene：第三節 索引文件結構(7) - Term向量文件
• Annotated Lucene：第三節 索引文件結構(8) - 刪除的文檔 （.del）
• Annotated Lucene：第四節 索引是如何創建的
• Annotated Lucene：第四節 索引創建過程(1)
• Annotated Lucene：第四節 索引創建過程(2)
• Annotated Lucene：第五節 索引是如何存儲的
• Annotated Lucene：第六節 文檔內容是如何分析的
• Annotated Lucene：第七節 如何給文檔評分

 

備注：未完待續，部分內容和插圖譯自Lucene網站及代碼，個別圖片來自網上
Annotated Hadoop 作者：naven 日期：2008-10-20

Hawk搜索引擎平臺應用：詞典搜索和文檔搜索

Hawk搜索引擎平臺可用來定制自己的搜索應用服務，如站內網頁搜索和桌面搜索。下面介紹兩個很有用的桌面搜索應用。辭典搜索收錄有四十部超過800萬詞匯的常用英語和漢語詞典，如朗文，牛津，漢語大詞典等。文檔搜索服務索引了主要的Java文檔和Linux系統下的文檔如man手冊等，歡迎使用！



© 2008 Javen-Studio http://javenstudio.org 咖啡小屋

Hadoop原來是Apache Lucene下的一個子項目，它最初是從Nutch項目中分離出來的專門負責分布式存儲以及分布式運算的項目。簡單地說來，Hadoop是一個可以更容易開發和運行處理大規模數據的軟件平臺。本文先從源碼角度剖析MapReduce框架及運行原理。

Annotated Hadoop: 第一節 Hadoop是什么
http://www.shnenglu.com/javenstudio/articles/43072.html

Annotated Hadoop: 第二節 MapReduce框架結構
http://www.shnenglu.com/javenstudio/articles/43073.html

Annotated Hadoop: 第三節 MapReduce工作原理
http://www.shnenglu.com/javenstudio/articles/43075.html


未完待續
Annotated Hadoop 作者：naven 日期：2007-12-29

      Reflection 是Java被視為動態（或準動態）語言的一個關鍵性質。這個機制允許程序在運行時透過Reflection APIs取得任何一個已知名稱的class的內部信息，包括其modifiers（諸如public, static 等等）、superclass（例如Object）、實現之interfaces（例如Cloneable），也包括fields和methods的所有信息，并可于運行時改變fields內容或喚起methods。本文借由實例，大面積示范Reflection APIs。

      http://www.shnenglu.com/javenstudio/articles/24640.html

      這是本人原創的系列文章制作的pdf，已陸續發布cppblog上，現開放下載，謝謝支持！

      1，《Javen庫的設計和使用》
      2，《LINQ，語言層面的OR映射技術，用面向對象操作數據庫》
      3，《侯捷《C++OOPGPDP》講座心得》

20070121
javen-0.2.1 release

1, 服務器進程調度框架(master/child模式)，類似inetd
2, some brings from postfix and apache
3, you can create new serverd to be managed by master, like Singled.cpp
4, you can use javen framework to programe your code, similar as java code
5, you can manage your server by masterctl start/stop/retart
6, you can add your config parameters at main.conf and can be checked automatically
6, you can configure your server at master.conf, for example
this is similar as postfix or inetd management.

complie environments
x86 32bit:
 linux: gcc version 3.4.6 20060404 (Red Hat 3.4.6-3)
 win32: not support
x86 64bit:
  not support

http://www.shnenglu.com/javenstudio/articles/10280.html

1, download
2, download

“ 軟件工程 ” 的學科至少包括三個重要的組成部分：產品設計、系統構架設計和項目控制，而相應地，軟件開發隊伍中也有三個重要角色：產品經理、系統架構師和項目經理。這三個角色直接關系著項目的成功或失敗。


http://www.shnenglu.com/javenstudio/articles/17759.html


作者：naven? 2005-5-10

1 、 Rational 統一開發過程（ Rational Unified Process 簡稱 RUP ）
2、統一模語言UML概述
3、面向對象軟件開發和過程
4、應用框架
5、模塊化和構件化設計
6、概要設計怎么做
7、代碼規范和注釋規范
8、單元測試和測試案例
9、團隊協作及大中規模軟件開發過程
10、面向對象設計原則
11、設計模式
12、經驗談


http://www.shnenglu.com/javenstudio/articles/17758.html

作者：naven? 2005-5-10

參考文獻：1、www.uml.org.cn、2、《UML：Java程序員指南》

??? 很高興侯捷老師又來公司了，給我們上了四天非常生動的技術講座，受益匪淺，現在我簡要介紹一下我的學習心得，與大家分享。這次講座主要集中在《 C++/OOP/GP/DP 》主題，針對有一些編程基礎的工程師，對一些常用的代碼和設計做了非常通俗易懂的剖析，非常有幫助。當然更深入的理解還需要結合多種技術名著來學習，我結合我的理解以及自己的學習和開發的經驗介紹一下 C++/OO/Template 以及 Design Pattern 的理會，考慮到講座的性質，我并不直述本次講座的內容，歡迎批評指正 J

閱讀：http://www.shnenglu.com/javenstudio/articles/17057.html

下載：《侯捷講座心得》

fastlog 是參考 log4j 和 log4cplus 框架使用 javen c++ 庫設計實現的日志記錄庫，具有 log4j 庫類似的優點，記錄日志非常方便，擴展和配置也非常容易。 Log4j 日志庫我想應該在 java 的領域已經應用很廣泛了，這樣的日志庫可以非常方便地將日志輸出到屏幕、文件、 syslog 、遠程服務器等任何地方，而日志輸出的格式也可以任意調整，可以很容易控制輸出的日志級別，而這一切僅需修改一下配置文件，應用程序不用作任何修改。

http://www.shnenglu.com/javenstudio/articles/11114.html

Socket 通訊程序估計現在大多數應用系統都會涉及到，所以實現一個標準統一使用更簡潔的API非常有用。本C++框架基本參考Java的Socket相關類實現了類似封裝，除了ServerSocket實現稍有不同，其他原理和方法基本類似。用它編寫網絡應用基本不用考慮底層的協議處理，使用非常容易，代碼也更簡潔易讀。


http://www.shnenglu.com/javenstudio/articles/11068.html

TCP/UDP 是網絡編程的基礎技術，分別代表面向連接的穩定的網絡通信技術和非連接方式的廣播形式的網絡通信技術，它們都建立在 IP 層之上，所以 IP 層的封裝尤為重要。 IP 層的封裝接口主要包括 DNS 的查詢、 IP 地址和域名的互查、本地 IP 及名字的查詢等，目前 IP 層使用的主要實現技術是 IPv4 ，但是未來會慢慢升級到容量更大的 IPv6 ，所以 IP 層的封裝需要要同時支持這兩種協議。操作系統實現它們都是通過增加新的 API 以及新的地址結構實現的，開發者編寫跨協議的網絡應用需要編寫較復雜的程序來區分 IPv4 和 IPv6 協議，優秀的 ACE 框架則通過條件編譯來支持 IPv6 ，好像不能同時在程序中使用 IPv4 和 IPv6 協議。本 C++ 框架參考 Java 的 InetAddress 及相關類實現了類似跨協議的 IP 層封裝，編寫網絡應用基本不用考慮兩種協議的不同，應為它們對外的接口類都是 InetAddress ，另外同時提供了與 Java 一樣簡單的域名和 IP 地址互查的接口，使用非常容易。

http://www.shnenglu.com/javenstudio/articles/4336.html

第一章 親密接觸Lucene

未完待續（最近太忙，顧不上了，看英文原版吧）


譯者 Naven & Scar

I/O流，即輸入/輸出流（Input/Output Stream），是軟件框架中的核心系統。對程序設計語言設計者來說，設計一個令人滿意的I/O系統，是件極艱巨的任務，也是不可缺少的基礎設施。C++的標準模板庫已經提供一套很不錯的I/O流庫了，但是我還是喜歡Java和.Net框架提供的那樣的使用簡單且擴展性強的I/O系統，而且還需要自行做一些改進已融入到C++通用框架體系中，由于I/O系統是框架的基礎設施，所以設計它是很關鍵的任務。


閱讀請點 http://www.shnenglu.com/javenstudio/articles/1028.html

時間和日歷以及時間的格式化處理在軟件的設計中起著非常重要的作用，但是目前C++的庫卻未有一個簡單易用的時間類，大部分都需要開發者直接調用操作系統的API來完成，而且很多API都不是線程安全的。某些大型的C++框架雖然提供一些時間類，但是卻不通用，也很難直接拿出來使用。下面介紹一下參考Java Framework中的時間相關的類來設計并實現C++版本的時間和日歷類。

閱讀請點 http://www.shnenglu.com/javenstudio/articles/1018.html

1、郵件解析框架FastMail庫介紹

1、什么是持久化和對象關系映射ORM技術