• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            Benjamin

            靜以修身,儉以養德,非澹薄無以明志,非寧靜無以致遠。
            隨筆 - 398, 文章 - 0, 評論 - 196, 引用 - 0
            數據加載中……

            數據采集搜索平臺 Gather Platform(網絡爬蟲)在win10部署

            1、安裝 JDK 8 以上版本, ORACLE,需要設置環境變量JAVA_HOME; 下載安裝Mvnen,down maven,將mvn路徑加入到環境變量Path
            2、下載并安裝Elasticsearch 5.2.2, elastic.co ,版本必須是5.2.2,不要選最新的。
            3、安裝ansj-elasticsearch插件, github;這里不需要編譯安裝,直接下載插件
                 進入Elasticsearch目錄運行如下命令 ./bin/elasticsearch-plugin install https://github.com/NLPchina/elasticsearch-analysis-ansj/releases/download/v5.2.2/elasticsearch-analysis-ansj-5.2.2.0-release.zip
                 運行Elasticsearch
            4、安裝Tomcat 8, Apache Tomcat,安裝路徑中不能有空格,最好是英文目錄
            5、下載本項目源碼包  spider
                   main/src/resource/staticvalue.json 配置文件, 將 needEs 配置項改為true
                   main/src/resource/mvc-dispatcher-servlet.xml 配置文件,找到輸出源配置項,按照下面進行配置:
                 <property name="pipelineList">
                     <list>
                         <ref bean="commonWebpagePipeline"/>
                         <!--<ref bean="jsonFilePipeline"/>-->
                     </list>
                 </property>
                  這樣的配置就是不再向Json文件進行輸出,而將數據輸出至ES進行存儲.
                  執行 mvn package 編譯打包
            6、將spider.war放入Tomcat下面的webapp文件夾
                 運行tomcat
            7、安裝phantomjs,然后下載腳本https://raw.githubusercontent.com/gsh199449/spider/master/ajaxDownloader/phantomjs_fetcher.js。
                 建議將此腳本放在phantomjs的bin目錄下。需要注意的是,phantomjs需要安裝在不包含空格和中文的路徑下。 
                 安裝完畢之后,使用phantomjs啟動此腳本即可,啟動時需要帶一個端口參數,建議值:7788.啟動命令:phantomjs.exe phantomjs_fetcher.js 7788
                 如果ajax渲染器與采集平臺不在同一臺機器或者不使用此端口(7788),需要在src/resource/staticvalue.json 配置文件中修改。
            8、localhost:8080/spider進入數采頁面(需要啟動Elasticsearch、tomcat、phantomjs)

            注意:Elasticsearch版本必須是5.2.2,tomcat的安裝目錄必須不能有空格。

            posted on 2019-01-05 21:40 Benjamin 閱讀(838) 評論(0)  編輯 收藏 引用 所屬分類: 雜談

            国产福利电影一区二区三区久久久久成人精品综合 | 久久狠狠爱亚洲综合影院| 国产免费久久久久久无码| 日本道色综合久久影院| 天天久久狠狠色综合| 亚洲国产精品一区二区久久| 99re这里只有精品热久久| 精品国产一区二区三区久久| 国产精品久久久久无码av| 国产99久久精品一区二区| 久久91精品国产91久久麻豆| 国产成人精品久久免费动漫| 91久久精品国产成人久久| 国产精品美女久久久久av爽 | 77777亚洲午夜久久多人| 漂亮人妻被黑人久久精品| 国产精品视频久久| 婷婷综合久久狠狠色99h| 久久精品女人天堂AV麻| 亚洲七七久久精品中文国产| 精品久久久无码人妻中文字幕| 伊人久久大香线蕉av一区| 久久精品人人做人人爽97| 婷婷久久综合九色综合98| 婷婷久久五月天| 国产精品久久亚洲不卡动漫| 久久国产福利免费| 久久精品国产亚洲av麻豆图片| 99久久人妻无码精品系列蜜桃| 久久99热这里只有精品国产| 免费无码国产欧美久久18| 国内精品久久人妻互换| 久久九九免费高清视频| 色88久久久久高潮综合影院| 久久精品国产国产精品四凭| 久久人人爽人人爽人人片av高请| 一本久久久久久久| 亚洲AV无码久久精品狠狠爱浪潮 | 精品国产乱码久久久久软件| 狠狠久久亚洲欧美专区| 无码人妻精品一区二区三区久久久 |