• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            Benjamin

            靜以修身,儉以養德,非澹薄無以明志,非寧靜無以致遠。
            隨筆 - 397, 文章 - 0, 評論 - 196, 引用 - 0
            數據加載中……

            數據采集搜索平臺 Gather Platform(網絡爬蟲)在win10部署

            1、安裝 JDK 8 以上版本, ORACLE,需要設置環境變量JAVA_HOME; 下載安裝Mvnen,down maven,將mvn路徑加入到環境變量Path
            2、下載并安裝Elasticsearch 5.2.2, elastic.co ,版本必須是5.2.2,不要選最新的。
            3、安裝ansj-elasticsearch插件, github;這里不需要編譯安裝,直接下載插件
                 進入Elasticsearch目錄運行如下命令 ./bin/elasticsearch-plugin install https://github.com/NLPchina/elasticsearch-analysis-ansj/releases/download/v5.2.2/elasticsearch-analysis-ansj-5.2.2.0-release.zip
                 運行Elasticsearch
            4、安裝Tomcat 8, Apache Tomcat,安裝路徑中不能有空格,最好是英文目錄
            5、下載本項目源碼包  spider
                   main/src/resource/staticvalue.json 配置文件, 將 needEs 配置項改為true
                   main/src/resource/mvc-dispatcher-servlet.xml 配置文件,找到輸出源配置項,按照下面進行配置:
                 <property name="pipelineList">
                     <list>
                         <ref bean="commonWebpagePipeline"/>
                         <!--<ref bean="jsonFilePipeline"/>-->
                     </list>
                 </property>
                  這樣的配置就是不再向Json文件進行輸出,而將數據輸出至ES進行存儲.
                  執行 mvn package 編譯打包
            6、將spider.war放入Tomcat下面的webapp文件夾
                 運行tomcat
            7、安裝phantomjs,然后下載腳本https://raw.githubusercontent.com/gsh199449/spider/master/ajaxDownloader/phantomjs_fetcher.js。
                 建議將此腳本放在phantomjs的bin目錄下。需要注意的是,phantomjs需要安裝在不包含空格和中文的路徑下。 
                 安裝完畢之后,使用phantomjs啟動此腳本即可,啟動時需要帶一個端口參數,建議值:7788.啟動命令:phantomjs.exe phantomjs_fetcher.js 7788
                 如果ajax渲染器與采集平臺不在同一臺機器或者不使用此端口(7788),需要在src/resource/staticvalue.json 配置文件中修改。
            8、localhost:8080/spider進入數采頁面(需要啟動Elasticsearch、tomcat、phantomjs)

            注意:Elasticsearch版本必須是5.2.2,tomcat的安裝目錄必須不能有空格。

            posted on 2019-01-05 21:40 Benjamin 閱讀(830) 評論(0)  編輯 收藏 引用 所屬分類: 雜談

            WWW婷婷AV久久久影片| 久久国产欧美日韩精品 | 91精品国产91热久久久久福利| 久久精品毛片免费观看| 久久国产精品99久久久久久老狼| 久久这里有精品视频| 欧美黑人激情性久久| 成人久久综合网| 精品久久久久久无码不卡| 无码国产69精品久久久久网站| 欧洲成人午夜精品无码区久久| 国产精品久久亚洲不卡动漫| 久久久久亚洲AV无码专区桃色| 一本色道久久88精品综合| 一本一道久久综合狠狠老| 国产精品中文久久久久久久| 欧美国产成人久久精品| 久久笫一福利免费导航 | 久久精品无码一区二区三区日韩| 久久人人超碰精品CAOPOREN| 日本五月天婷久久网站| 中文字幕亚洲综合久久2| 青草国产精品久久久久久| 色偷偷91久久综合噜噜噜噜| 久久精品国产91久久综合麻豆自制 | 国内精品久久人妻互换| 久久福利资源国产精品999| 99久久精品免费看国产| 人妻丰满AV无码久久不卡| 亚洲伊人久久成综合人影院| 久久国产热这里只有精品| 久久亚洲国产欧洲精品一| 99久久无码一区人妻a黑| 人妻精品久久无码专区精东影业| 99久久免费国产精品特黄| 伊人久久大香线蕉综合热线| 久久久久亚洲AV无码专区网站| 久久中文字幕无码专区| 久久久精品无码专区不卡| 久久久久久极精品久久久| 久久受www免费人成_看片中文|