CoreSeek可以說是一個簡單的搜索引擎,但是它并沒有提供完整搜索引擎中重要的爬蟲功能。CoreSeek提供中文全文索引/搜索,它基于Sphinx研發并獨立發布,在中文搜索和信息處理領域有不錯的表現。
coreseek主要有兩個大的內容,1.中文分詞LibMMSeg,2.全文索引/搜索Sphinx
ubuntu 下的主要安裝和使用如下:
安裝ubuntu下需要的模塊:
coreseek安裝需要預裝的軟件:
apt-get install make gcc g++ automake libtool mysql-client libmysqlclient15-dev libxml2-dev libexpat1-dev
中文分詞 LibMMSeg 安裝:
##安裝coreseek開發的mmseg,為coreseek提供中文分詞功能 $ cd mmseg-3.2.14 ##ubuntu環境下,需要使用ACLOCAL_FLAGS="-I /usr/share/aclocal" ./bootstrap $ ./bootstrap $ ./configure --prefix=/usr/local/mmseg3 $ make && make install ##如果提示libtool: unrecognized option `--tag=CC' ,請查看libtool問題解決方案 ##安裝完成后,mmseg使用的詞典和配置文件,將自動安裝到/usr/local/mmseg3/etc中 ##中文分詞測試,如果顯示不正常,請檢查當前環境下的locale和UTF-8中文字符顯示設置 $ /usr/local/mmseg3/bin/mmseg -d /usr/local/mmseg3/etc src/t1.txt 中文/x 分/x 詞/x 測試/x 中國人/x 上海市/x Word Splite took: 1 ms.
##安裝coreseek: $ cd csft-3.2.14 ##執行configure,進行編譯配置: $ sh buildconf.sh $ ./configure --prefix=/usr/local/coreseek --without-python --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --without-mysql $ make && make install
支持mysql
$ cd csft-3.2.14 $ make clean $ ./configure --prefix=/usr/local/coreseek --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql ##以上configure參數請正確拷貝,不要遺漏或者隨意修改 $ make && make install
現在兩部分已經安裝成功了,接下來測試一下是否安裝成功。
##三、coreseek中文全文檢索測試
$ cd testpack
$ /usr/local/coreseek/bin/indexer -c etc/csft.conf
##以下為正常情況下的提示信息:
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)
using config file 'etc/csft.conf'...
total 0 reads, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg
total 0 writes, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg
##
##csft-4.0版顯示:ERROR: nothing to do.
##
$ /usr/local/coreseek/bin/indexer -c etc/csft.conf --all
##以下為正常索引全部數據時的提示信息:(csft-4.0版類似)
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)
using config file 'etc/csft.conf'...
indexing index 'xml'...
collected 3 docs, 0.0 MB
sorted 0.0 Mhits, 100.0% done
total 3 docs, 7585 bytes
total 0.075 sec, 101043 bytes/sec, 39.96 docs/sec
total 2 reads, 0.000 sec, 5.6 kb/call avg, 0.0 msec/call avg
total 7 writes, 0.000 sec, 3.9 kb/call avg, 0.0 msec/call avg
$ /usr/local/coreseek/bin/indexer -c etc/csft.conf xml
##以下為正常索引指定數據時的提示信息:(csft-4.0版類似)
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)
using config file 'etc/csft.conf'...
indexing index 'xml'...
collected 3 docs, 0.0 MB
sorted 0.0 Mhits, 100.0% done
total 3 docs, 7585 bytes
total 0.069 sec, 109614 bytes/sec, 43.35 docs/sec
total 2 reads, 0.000 sec, 5.6 kb/call avg, 0.0 msec/call avg
total 7 writes, 0.000 sec, 3.9 kb/call avg, 0.0 msec/call avg
$ /usr/local/coreseek/bin/search -c etc/csft.conf
##以下為正常測試搜索時的提示信息:(csft-4.0版類似)
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)
using config file 'etc/csft.conf'...
index 'xml': query '': returned 3 matches of 3 total in 0.093 sec
displaying matches:
1. document=1, weight=1, published=Thu Apr 1 22:20:07 2010, author_id=1
2. document=2, weight=1, published=Thu Apr 1 23:25:48 2010, author_id=1
3. document=3, weight=1, published=Thu Apr 1 12:01:00 2010, author_id=2
words:
$ /usr/local/coreseek/bin/search -c etc/csft.conf -a Twittter和Opera都提供了搜索服務
##以下為正常測試搜索關鍵詞時的提示信息:(csft-4.0版類似)
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)
using config file 'etc/csft.conf'...
index 'xml': query 'Twittter和Opera都提供了搜索服務 ': returned 3 matches of 3 total in 0.038 sec
displaying matches:
1. document=3, weight=24, published=Thu Apr 1 12:01:00 2010, author_id=2
2. document=1, weight=4, published=Thu Apr 1 22:20:07 2010, author_id=1
3. document=2, weight=3, published=Thu Apr 1 23:25:48 2010, author_id=1
words:
1. 'twittter': 1 documents, 3 hits
2. '和': 3 documents, 15 hits
3. 'opera': 1 documents, 25 hits
4. '都': 2 documents, 4 hits
5. '提供': 0 documents, 0 hits
6. '了': 3 documents, 18 hits
7. '搜索': 2 documents, 5 hits
8. '服務': 1 documents, 1 hits
$ /usr/local/coreseek/bin/searchd -c etc/csft.conf
##以下為正常開啟搜索服務時的提示信息:(csft-4.0版類似)
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)
using config file 'etc/csft.conf'...
listening on all interfaces, port=9312
##如要停止搜索服務,請使用/usr/local/coreseek/bin/searchd -c etc/csft.conf --stop
##如要已啟動服務,要更新索引,請使用/usr/local/coreseek/bin/indexer -c etc/csft.conf --all --rotate
##然后,請參考csft-3.2.14下api目錄中的相關文件,使用PHP、Python、Ruby、Java來測試搜索服務;也可以前往< ahref="/products-install/step_by_step/">搜索服務建立三步曲,查看第三步使用PHP測試。
##四、繼續
##通過以上步驟,coreseek已經安裝測試完成,可以提供正常的xml數據源索引以及提供對應的搜索服務了
##下一步工作,請查看手冊,準備好mysql數據信息,以及進行mysql數據源的測試,并在您的應用中調用搜索服務;mysql數據源的配置可參考testpack/etc/csft_mysql.conf文件
這里要說明一下,coreseek支持兩種格式的搜索,可以搜索xml和mysql,上面測試的是使用xml。
coreseek使用.csft來設置是那種搜索方式和搜索的一些配置信息,如mysql的數據庫和地址等。
/usr/local/coreseek/binindexer -c etc/csft.conf --all
是先為搜索引擎建立起索引得過程。
/usr/local/coreseek/bin/search -c etc/csft.conf -a Twittter和Opera都提供了搜索服務則是在文檔中搜索
Twittter和Opera都提供了搜索服務
的內容。
這樣命令端的搜索搜索就可以簡單的建立了。