HillTop (LocalScore) 算法
作者：Atul Gupta
Google新算法的廬山真面目到底是什么？這仍然是個迷。而在Google網站上，從其"對高質量內容網站進行獎勵及對采用惡意技術的網站進行懲戒"內容中，亦無什么新內容可尋端倪。自然，作為搜索引擎，這種做法是完全可以理解的。搜索引擎的算法應該是保密的，因為它們對新算法的任何評論，同意或否定的言行都會泄露其新算法，而任何對排名系統的一丁點泄漏都有可能被一些人鉆了空子，并用來惡意操縱搜索結果，從而破壞搜索結果的客觀公正性。
我們根據一些比較具有可行性的推測，并結合實際研究、試驗，以及對搜索引擎行為的發展趨勢和歷史的知識基礎，得出了一些發現。首先，我們來看看對于Google新算法的一些比較值得注目的發現：
1.Google新算法種種之種種傳言 & 猜測
對于Google新算法主要有下面這樣一些傳言和猜測：
開始使用詞典對號入座；
意圖施壓使商業站點使用Adwords廣告服務；
開始使用"基于貝葉斯定理的SPAM過濾系統" ；
開始處罰互惠鏈接，"優化"網頁，或"鏈接文本" ；
眾多猜測中，"Google意圖施壓使商業站點使用Adwords廣告服務"顯然占了上風。許多
搜索引擎優化
分析家都認為：Google通過一個保密的過濾系統"黑名單"來對商業網站進行篩選，從而達到上述目的。對此觀點我實在不敢茍同。解釋如下…
1.1 是否若查詢條件中包含"商業性關鍵詞"時，Google會對搜索結果進行篩選？
因為這次更新中損失最慘重的是一些商業網站，所以有很多
搜索引擎優化
專家都認為Google開始對那些含有所謂"商業性關鍵詞"的查詢條件所產生的查詢結果進行篩選。而從優化專家針對此所做的一些最初的測試結果來看，確實也表明了一些看起來似乎能夠證實這種推測的征兆。
1.2 Google此舉動機何在？
如果這是真的，那么Google為什么要這樣做？這種推測的后盾在于Google算法更新的時間正好在圣誕購物季節之前，并適逢其IPO上市之際。分析家認為：Google這樣做是為了向商業性站點施加壓力，如果這些商業網站期盼在一年一度的美國傳統的圣誕購物季節得到豐厚贏利的話，就得花錢做AdWords自助廣告。免費午餐看來是沒有了。還有一些人則認為Google此舉旨在為其最終業績(即基線)涂抹上一點光明的色彩來打動其未來投資者。
1.3 那么又是誰取代了商業站點原來的交椅？
從結果頁上看，前20個結果好象都是一些官方站點(.gov)，教育類站點(.edu)，公益組織性站點(.org)，目錄及非美國本土的站點。由于這些站點一般并不太需要做廣告，所以分析家們據此相信：提升這些類型的網站不會影響到Google的廣告收入，同時還可以對商業性站點施壓并迫使其加入Google的AdWords自助廣告陣營中來。
1.4 Google從何獲得"商業性關鍵詞"名單？
從Google的AdWords廣告系統，Google已然擁有一個大型的"商業性關鍵詞"的數據庫。有趣的是，等于是那些廣告客戶和商業性站點的所有者自己把哪些是"好的商業詞語"告訴給Google了-Google通過廣告者對關鍵詞語的競標價格的變化完全可以看出每個關鍵詞語的"價值"來。
1.5 事實究竟如何？Google是否確是在用"商業關鍵詞"名單來過濾掉商業站點？
我個人認為：這種想法實在與事實太過相悖，而且我堅信：Google并不象分析家們所認為的在"過濾"站點。而且我相信，Google壓根就沒有什么"商業關鍵詞"名單。一度流行的這種"過濾名單"理論是分析家們從自己所看到的跡象上得出的，而事實上這些所謂的跡象是由于其它原因所引發的，而并不是什么"過濾"所導致的。后面我會就此問題向大家詳細解釋和闡述。
不可否認，從實踐中我們確實可以看到一些象"過濾"的結果，但我們有理由相信這樣的結果實際上是Google新算法的一種"副產品"，而非Google本意。新算法意圖對商業性網站而不是公益性網站施加影響。稍后我會向大家詳細解釋…
Scroogle.org，這個由不喜歡Google的群體所建立的網站，原來可以通過一種巧妙的方式從Google上提取數據，并向用戶提供一種可檢查網站在Google上的"未過濾"的往日排名結果的工具。不過由于Google現已更新了算法以禁止此類查詢，故Scroogle.org現已無法提供這樣的工具。不過，該網站仍顯示有一個從其網站上多方搜索而收集到的所謂"Filter Hit"名單。我研究過這個名單。 我覺得，它充其量也只能證明了Google并未使用任何如上所說之名單。不然的確話，如何解釋"California Divorce Attorney"位于名單之首而"Books"或"Adult"卻屈居最下席？難道在Google眼里，"California Divorce Attorney"比"Books"或"Adult"更有商業價值？
Google任何從正常的排名機制中過濾掉把商業性站點的企圖都是對Google品牌，乃至對其公正的搜索結果信譽的嚴重損害。若真有這樣的企圖，那Google真是太短視了，根本配不上它的品牌和它的服務。Google的股票上市(IPO)和最終業績都將因此而毀于一旦。此外，Google也說過，其"搜索服務"和"AdWords自助廣告"服務分屬兩個不同的工作部門，且互不搭界、互不影響。對此我還是相信的。
2.Google搜索技術的幾個明顯變化
2.1 Google開始采用詞干技術(stemming)
Google確已在搜索結果中采用了詞干技術。在早先，如果搜索一個單數查詢條件如"home garden"，則搜索結果中不會出現如"home gardens"，"home gardening"這樣的關鍵詞變化形式，反之亦然。對于Google的用戶來說，這種特性可能是一件好事情，因為搜索提供的結果更多了，但站在
搜索引擎優化
的立場來看，由于搜索結果的驟然增加，對關鍵詞的競爭亦驟然加劇。
2.2 Google于搜索結果中使用了拼寫糾錯工具
Google開始將其拼寫檢查工具用于搜索結果中。例如，當輸入查詢條件為"Search Engine Optimisation"后，以往Google只會提示你是否是要找"Search Engine Optimization"，但顯示的還是符合"Optimisation"的搜索結果。不過現在則能看到"Optimization"的搜索結果。再如："e-mail solution"和"email solution"的搜索結果一致，而"e-commerce"則與"ecommerce"的搜索結果是一致的，這樣就增加了數據的競爭性。
3.對Hilltop算法的分析和推測
3.1 為什么采用新算法
大多數網迷們都知道，頁面等級算法是由Google的創始人Sergey Brin和Larry Page所倡起的,用以精良網站在搜索結果中的排名。這也是自1998年Google發布以來的取得種種驕人成績的重要因素之一。
但頁面等級系統亦存在著一個基本的缺陷，Google也深知這一點。它根據一個網頁上被鏈接的站點數量和質量來給該網頁分配一個絕對的"重要性值"。同時亦將鏈接頁面的頁面等級考慮在內。指向一個網頁的外部鏈接頁的頁面等級越高，則該鏈接頁面傳遞給該網頁的頁面等級值也就越高。但是，"頁面等級值"并非針對查詢詞語，因而一個網頁即使只是在內容中偶然提到了一個和查詢主題偏離的關鍵詞語，也會因其居高的頁面等級值而獲得一個比較高的排名。
美國加州的克利須那。伯哈拉特(Krishna Bharat) 意識到基于頁面等級的排名系統中所存在的這種瑕玼，并于2000年提出了一種新算法，他稱其為"Hilltop"算法，并于2001年的一月份申請了Hilltop專利權，Google成為受讓方。不言而喻，Google已然意識到這種新算法與其頁面等級系統的整合將為Google的排名系統帶來良好的效果。
我深信，在Google最近的更新中，不但運用了Google自身的頁面等級和相關性算法，而且還結合使用了Hilltop算法用于精工調整頁面等級的效果，只不過Hilltop算法可能已迥異于它最初的模樣了。
3.2 什么是Hilltop算法？
對此算法有興趣了解并想挖根究底的人可以看看克利須那。伯哈拉特當年所寫的Hilltop論文及詳細的Hilltop專利信息。但對我們大多數人來說，只要知道Hilltop算法到底是個什么東東就可以了。簡單地說，頁面等級決定一個網頁的"權威性"，而Hilltop(LocalScore)則決定匹配一查詢條件的一個網頁的"權威性"。
Bharat提出：在利用"頁面等級"來尋找"權威"網頁時，不應單純依賴于值的大小來定奪，而應將重點放在它與查詢主題的相關性上； 即不但需要考慮網頁的頁面等級，還要考慮該網頁的頁面等級與查詢主題的相關性是否相稱。若一個網頁只與查詢主題只沾點邊，那么即使其頁面等級非常之高，對用戶來說也是沒有意義的。如此一來，于網頁而言，那些來自于"相關主題"的文檔的鏈接就更有意義了 (Bharat稱這種"相關主題"文檔為"專家文檔")，一個網頁的所有外部"專家文檔"鏈接構成了該網頁的"權威性值"。Hilltop算法的意義在于：相同主題網站之間的鏈接應比非相關網站的鏈接具有更高的價值。
Hilltop算法以如下方式計算一個網頁的"權威值"(這只是極為簡單的一個例子)：
以該關鍵詞進行一次普通查詢找專家文檔"文集"。"專家文檔"的定義有嚴格標準，因該"文集"應是數量上易于管理的一組網頁。
從返回的專家列表中把成員站點(見下注解*)和鏡象站點去掉。
根據所獲得的上述專家文檔對其投票的數量和質量，網頁被分配以一個“局部分數”(LocalScore)。然后按網頁的“局部分數”進行排名。
*注解：成員站點指來自同一個域，或域相同而后綴不同的站點，如ibm.com，ibm.co.uk，ibm.co.jp等等，或指來自相鄰的IP地址的站點 (前三位IP地址相同，形如64.129.220.xxx)
此外，若兩個站點均為相同IP地址下的宿主，則認為其中一個是另外一個站點的成員站點。(即：若ww.abc.com和
www.ibm.com
均為相同IP地址下的宿主，則認為
www.abc.com
是
www.ibm.co.uk
的成員站點)
Hilltop算法的一個極其重要的特征在于：若沒有找到搜索引擎認為數量足夠的“專家文件”(要求至少需有兩票)，則該算法失效，即返回結果為零。換言之，對于高度明確化的查詢條件(查詢詞語)，Hilltop算法的結果很可能為“0”。這是該算法的一個獨特特性。如此一來，造成了
SEO
一族中的大部分人都深信Google的確在用“商業詞”過濾名單來過濾掉商業網站。
事實上，在Hilltop算法無法奏效時，將顯示“舊”Google的搜索結果。這些查詢條件的集合就是
SEO
一族所收集并稱之為的“商業詞名單”。這一效果無意中卻提供了一個強有力的證據，表明Google確是采用了Hilltop算法。2003年11月15號，Google基于新算法的更新之后， 某分析家就指出：在進行查詢時，若對某一查詢條件加上一些“不包含”的無意義字符，如“car rental – ghjkl”，則Google將會顯示以往(算法變化前)的搜索結果，而繞過所謂的“商業詞”過濾名單。
例如，若查找“real estate –hdfkdhgk”，則Google將試圖返回所有關于“real estate”，同時內容中又不包含“hdfkdhgk”的頁面。又由于包含“hdfkdhgk” 這種字眼的網頁幾乎沒有，所以按道理來講，Google返回的查詢結果應該和“real estate”的查詢結果是相同的。然而結果卻出人意料：Google所顯示的查詢結果和采用新算法之前的搜索結果的排名是相同的。事實上，Scroogle.org這個網站就是捕捉Google的搜索結果在排名上的不同，并以此得出一個所謂的“商業詞”過濾名單。
在所謂的“商業詞”背后到底是什么？
我們相信，“商業詞”過濾式效果只是Hilltop算法的一個衍生癥狀。每當用戶進行類似“real estate –hdfkdhgk”的查詢時，Google都會對整個查詢詞語進行Hilltop運算，當無法找到足夠的包含這種查詢詞語的“專家文件”時，該算法將返回一個零值(即零效果)。 這就意味著我們通過這種多少有些滑稽的特殊排除詞語繞過了Hilltop算法， 這時候Google的其它算法就該出頭發揮作用了，而它們所提供的查詢結果明顯地和算法更新前的查詢結果是一樣的! 后來Scroogle.org的聲名鵲起讓Goolge發現了這個bug。后來Google為了防止此類漏洞，索性把查詢分成兩步走，先把排除條件詞語放一邊，將查詢條件送至Hilltop進行運算，如此一來，由于Hilltop不再同時對排除條件進行解析，所以可保證其正常發揮效用，并提供相應的搜索結果，然后再將此結果傳遞給Google算法，Google根據最初查詢中的排除條件從Hilltop提供的結果中將符合排除條件的網頁剔除，然后再將結果顯示給用戶。這也就是為什么我們現在用上面的法子再也無法看到“舊Google”的搜索結果的原因了。
Google新算法意義何在
Hilltop算法與Google的頁面等級算法及頁面相關性算法的結合看起來是超佳組合，幾乎無懈可擊。其聯姻對于鏈接流行度/頁面等級和來自專家文件(LocalScore)的鏈接對你網站的排名的影響程度有著深遠的意義。
我列了一個簡單的公式來說明新算法的效果和影響 (謹供參考)：
“舊”Google排名公式 = {(1-d)+a (RS)} * {(1-e)+b (PR * fb)}
“新”Google排名公式 = {(1-d)+a (RS)} * {(1-e)+b (PR * fb)} *{(1-f)+c (LS)}
其中：
RS = 相關性得分：基于網頁標題(Title)。元標識(Meta tags)， 正文標題(Headlines)，正文(Body text)。URL，圖片Alt文字，錨文字(Anchor Text)等元素中出現的關鍵詞得出的分數。
PR = 頁面等級：(基于鏈接至你網站的網頁數量及其PR值得出的分數。原始公式為PR (A) = (1-d) + d (PR (t1)/C (t1) + …+ PR (tn)/C (tn))，其中D為阻尼因子，一般設為0.85; 公式可描述為：A網頁的其PR值等于鏈向該頁面的所有鏈接頁面的PR值分別除以各自的外部鏈接數量的總和。
LS = 行業得分(LocalScore)：根據專家文件計算得出的分數。
a，b，c = 調節控制比重：Google用于精工調整查詢結果
d，e，f = 阻尼控制：Google用于精工調整查詢結果。目前“f”值可能為“0”。
fb = 因子基數：Google工具欄山所顯示的頁面等級得分范圍從1到10，但它實質上并不是一個線性函數，而是一個指數/對數函數。經過分析，我們認為它有一個趨近于8的基數。即PR為5的網頁的值比PR為4要多8倍之多(PR5=PR4X8)，同樣，一個PR值為8的網站比一個PR值為4的網站的值要高出4000多倍(PR8=PR4X8X8X8X8)。
Google新算法的優勢/優點
頁面因子極易被人利用和控制，例如最早被用作排名因子的META TAGS，就由于很多網站無度的關鍵詞充斥泛濫而不得不被搜索引擎喊停。此外，在開始的時候，由于顧忌到真實來訪者的感受，對網站內容一般作手腳的并不多，但后來亦難免誘惑，過度優化，甚至頁面上放上許多“隱形”的內容已是屢見不鮮的伎倆。頁面因子確實無形中賦予網站管理員太多“惡意”控制權。而在Google的新算法中，各排名因素所占比重分別如下：
總“排名”得分由三部分組成：相關性得分(頁面因素)，頁面等級得分(非頁面因素)和行業得分(非頁面因素)：
相關性得分(RS)= 20%，頁面等級值(PR) = 40%，行業得分(LS) = 40%
其中：
RS (相關性得分：頁面相關度) --是所有
SEO
努力的轉換結果；
PR (頁面等級得分：外部鏈接度) --是所有建立鏈接的努力的轉換結果；
LS (行業得分：專家文件鏈接度) --是得自專家文件的鏈接的轉換結果；
從上述結果不難看出，頁面優化的得分只占到20%，Google顯然已將重心轉至非頁面因子上，而把排名控制權越來越多地從網站管理員手中奪回來。假若一個水平一般般的優化專家可以拿到RS中的10分，而一個水平很高的優化專家最高也不過能拿到18，19分，大家可以看到：這兩個水平懸殊的優化專家之間的差別僅僅只有8分而已!
Hilltop算法是否以實時方式運行
Google所擁有的服務器體系架構就是網絡上分布的一萬臺奔騰級服務器。而一旦了解了Hilltop算法后，我們很難相信這樣的奔騰服務器能夠具備如此的處理能力：試想一下，首先要從成千上萬的主題性文件中找到“專家文件”，然后計算目標網頁自這些專家文件的鏈接的得分，然后再將數值返回Google算法的其它排名系統，并做進一步處理—而所有這些要在大約0.07秒內--這個讓Google舉世聞名的搜索速度內完成。確實使人難以置信。
Hilltop算法的運行頻率及涵蓋范圍
我們認為，要保證Google一貫的“閃電般”搜索速度，Google會對搜索頻率較高(熱門)的查詢詞(即所謂的“商業詞”黑名單)定期運行批處理，并將結果存儲起來供日后使用。Google的數據庫擁有數目龐大的高查詢頻率的查詢詞，收集自實地搜索和其AdWords自助廣告系統中所使用的關鍵詞。Google很可能對關鍵詞搜索次數設置了上限值，凡搜索頻率高于此閾值的查詢詞都將被納入Hilltop系統，然后Hilltop系統再對收集的所有高查詢頻率關鍵詞定期運行批處理，可能一個月一次。增量級的稍小規模的批處理可能會頻繁一些。 同時，每個月將對Hilltop系統運行批處理后的結果對Google的萬臺服務器的數據庫進行同步更新，但稍小規模的批處理的數據庫更新會更加頻繁一些。
對于那些用戶查詢頻率不算高，因而無此“榮幸”被納入Hilltop算法的查詢詞語，Google仍將使用原來的算法并顯示原來的排名結果。因而對于那些高度明確或專業化的關鍵詞，由于它們被排除在新算法的范圍之內，因而有望保持原來的排名。
Hilltop算法為何經過如此長時間才投入使用
Google早在2003年2月就獲得了該專利，但在實際投入使用前，需要首先保證新算法和Google當時所使用的頁面等級和頁面相關性系統的完全兼容性，所以需要對其兼容性做大量測試，然后再評估算法整合后所提供的結果，再做精工調整，然后是進一步的繁復測試…我想所有這些都需要大量時間。
Google新算法的不利方面/瑕疵
經過進一步分析，我們發現了該算法存在著的若干缺陷和不足：
Hilltop的前提是每個專家文件都是完全公正的，且無欺騙和人工操縱成分。然而情況可能并非如此理想。專家文件的一個小小污點就可以對排名產生極大的負面影響。
Hilltop意圖通過“權威性”專家文件的鏈接來確定一個網頁的行業可信度，但又不能夠明確保證這些所謂的“專家文件”的”“量”確是名副其實。
運行Hilltop算法需要大量的計算機處理能力，因而我們猜測Hilltop算法(可能)是每個月對收集到的全部高頻率(熱門)查詢詞運行一次批處理。由于Google算法將40%重心轉移至Hilltop，且Hilltop算法運行后的得分會保持至下一次批處理，因而在此期間搜索結果很可能不會有太大變動。此外，由于“專家”網頁的投票方式往往不會有太大變動，因而在某段時期內我們可能只會看到一些“陳舊”的搜索結果。這一點悖離了搜索引擎的“提供最新、最好”的查詢結果的宗旨。除了“權威網頁”，用戶同樣希望看到一些新鮮的內容，然而對“新”Google而言，用戶只有寄望于那些查詢頻率不太高，從而未被納入Hilltop系統的查詢詞語上看到“新鮮”的查詢結果了。
新站點對熱門查詢詞的排名的難度將越發加大。看來對于那些特別熱門的查詢詞，Google對新網站或新內容的排名的門檻是越來越高了。
商業性站點要鏈向網絡分類目錄，貿易協會，政府貿易機構，教育機構，公益性組織的站點并非難事，故而這樣的站點會占據搜索結果的前十名位置。
哪些站點是Google新算法最可能的殃及者？
成員站點/域群集/運行于相同服務器下的MLM(多層營銷系統程序)程序。
過度依賴“頁面”優化因子的網站。
依賴高度競爭性的查詢詞語來獲得訪問量的網站。
對網站擁有者的若干建議：
排名規則已發生重大改變，網站的成功推廣需從提高PR值及獲得更多來自“專家文件”的鏈接著手；
盡可能為更多主流網上分類目錄(DMOZ，Yahoo，About，LookSmart等)，貿易目錄，黃頁，貿易協會和資源頁等所收錄；
避免使用域群集/成員程序或帶有成員性質的系統；
避免來自可疑的FFA站點及鏈接工廠的互惠鏈接。
若干需要澄清的傳言：
關于“過度優化會受到懲罰”之說--過濾優化本身就是一種SPAM，因而受到懲罰也是理所當然的事情。然而當前大多數商業網站所受到的排名沖擊并非由于受到懲罰，而是由Google將重心從頁面因子轉至非頁面因子而造成的。網站的良好優化仍必不可少。
關于“建立外部鏈接不再重要”之說--建立鏈接流行度還是和從前一樣舉足輕重，甚至還有可能會更加重要。Google專利的頁面等級算法仍舊占據舉足輕重的地位。
關于“Google開始使用‘商業詞’過濾名單”之說--Google并沒有使用任何“過濾名單”來懲罰商業站點。Google也無意去“懲罰”或“篩掉”任何東西，它所力求的只是建立一個能夠識別最具備相關性網頁的系統。
站點收錄進DMOZ，Google目錄和商業目錄收錄會讓Google認為該站點屬商業性網站，從而對其進行懲罰--正相反，由于這些目錄都是質量非常之高的“專家文件”，因而得到這些目錄的鏈接不但不會受到懲罰，反而會帶給你較高的收益。
隨著Google對其算法的大更新，我們不得不承認，要想讓網站得到好的排名真是越來越不容易了。若只采用簡單的優化技術，如元標識(Meta)或頁面優化，幾乎沒辦法得到理想排名。我們需要顧及很多的算法變量，而不僅僅是一個Meta Tags。
搜索引擎優化
會更為專業化。老式的優化伎倆已經不管用或收效甚微了。現在需要計劃和實施的是全方位的
SEO
策略。為保證成效，
SEO
專家現在需要做的是投入更多的智慧、研究、分析、計劃和時間。這樣的話，
SEO
的優化“成本”亦將逐漸增高。
PPC(付費點擊)的價格會繼續攀升。PPC廣告方式不但會成為網上營銷策略的一個主要組成部分，而且需要保證相應的搜索引擎訪問量。現在，網站的外部鏈接和頁面等級愈加重要。它對排名的影響更加重要。
搜索引擎優化
和建立鏈接的結合已勢在必行。此外，搜索引擎排名算法的更新不僅會越加頻繁，而且幅度會越來越大。現在，定期的
搜索引擎優化
維護變得尤為重要。對網站的
搜索引擎優化
不僅是必須的，而且大有裨益。
很多網站都丟掉了它們原來的好排名，因而尤其需要搜索優化專家。每一次更新算法都是對
搜索引擎優化
人員名單的一次縮水。搜索引擎的優化和排名生意變得愈加困難，然而也愈加重要了。