• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            隨筆 - 79  文章 - 58  trackbacks - 0
            <2011年11月>
            303112345
            6789101112
            13141516171819
            20212223242526
            27282930123
            45678910

            常用鏈接

            留言簿(9)

            隨筆分類

            隨筆檔案

            文章檔案

            相冊

            搜索

            •  

            積分與排名

            • 積分 - 296056
            • 排名 - 87

            最新評論

            閱讀排行榜

            評論排行榜

            網絡上關于增量搜集網頁的資料比較少,可能還不成熟的原因。
            偶有所感啊。。。。

            獲取url之后,存放在visittable中,并保存本次的指紋信息。

            需要根據它的重要程度,初步估算一個搜集間隔。
            當到達下次搜集時間,則搜集它,這個時候,根據上下兩次的

            指紋,判斷是否有網頁是否有變化,以調整搜集間隔。
            舉例:第一次間隔10天,10天后搜集發現有變化,則調整間隔為5天。 

            5天后搜集發現無變化,則調整間隔為7.5天,以得到一個差不多的值。

            網站的重要程度也是一個方面,比如專門搜索mp3的搜索引擎,可以把
            根本沒有mp3的網站列入無效網站,把mp3較多的網站列為專業網站,
            縮小搜索間隔。

            visittable表結構:

            URLCode URL nextTime interval preInterval finger

            posted on 2008-05-22 22:23 merlinfang 閱讀(388) 評論(0)  編輯 收藏 引用 所屬分類: 搜索引擎
            久久777国产线看观看精品| 亚洲国产精品一区二区三区久久 | 亚洲人成无码www久久久| 热综合一本伊人久久精品| 久久九九精品99国产精品| 91精品国产91久久久久久| 伊人久久大香线蕉综合热线| 97久久国产综合精品女不卡| 91精品国产综合久久四虎久久无码一级 | 97久久婷婷五月综合色d啪蜜芽| 久久久一本精品99久久精品66 | 国产人久久人人人人爽| 伊人久久大香线蕉影院95| 久久亚洲高清综合| 亚洲精品国产成人99久久| 色偷偷88欧美精品久久久| 日本欧美久久久久免费播放网| 久久人与动人物a级毛片| 久久无码专区国产精品发布| 日韩电影久久久被窝网| 久久人人爽人人爽人人片AV不| 99久久夜色精品国产网站| 久久天天躁狠狠躁夜夜avapp| 一本大道加勒比久久综合| 无码伊人66久久大杳蕉网站谷歌| AV无码久久久久不卡蜜桃| 93精91精品国产综合久久香蕉| 囯产极品美女高潮无套久久久| 久久高潮一级毛片免费| 久久99精品久久久久久不卡 | 精品乱码久久久久久夜夜嗨 | 亚洲中文字幕久久精品无码APP| 国产精品成人久久久久久久| 91久久精一区二区三区大全| 色综合久久最新中文字幕| 草草久久久无码国产专区| 久久精品无码一区二区三区| 久久婷婷久久一区二区三区| 久久婷婷五月综合97色| 潮喷大喷水系列无码久久精品| 国产亚洲综合久久系列|