感覺我們公司的產(chǎn)品是不是可以引入這種升級方式？
轉(zhuǎn)自http://impd.tencent.com/?p=27

直到Windows 8 之前，微軟都沒有像蘋果的一樣提供一個(gè)AppStore，所以在這個(gè)平臺上開發(fā)和使用軟件都是有一定門檻的：對于普通用戶而言，專門跑去電子市場買一套辦公或者娛樂軟件的光盤并不是所有人都喜歡的事情，而即使是軟件發(fā)展環(huán)境不太健康的中國市場，到各大軟件網(wǎng)站下載到無毒的軟件也不是一件容易的事情。

對于開發(fā)者而言更是如此，不僅要考慮完成軟件開發(fā)所預(yù)期的各種功能，還要處理諸如打包、防破解、注冊流程等等一系列的附加工作，這些事情對于所有運(yùn)行于Windows平臺上的軟件都會遇到，它們的解決方案也大同小異，但Windows并沒有幫助開發(fā)者們處理這些問題。

我們今天要討論的一個(gè)主題——“升級”，也涵蓋在其中。如果您有多年使用Windows操作系統(tǒng)的經(jīng)驗(yàn)，那么應(yīng)該會發(fā)現(xiàn)一個(gè)現(xiàn)象，目前的常用軟件都是這樣升級的：在幫助菜單中放置一個(gè)叫做“軟件升級”的菜單項(xiàng)，點(diǎn)擊后便會啟動一個(gè)查詢最新版本的loading界面，一旦查詢到新版本，便會提示用戶是否要下載并安裝。

這個(gè)功能的實(shí)現(xiàn)邏輯非常簡單，但對于很多需要持續(xù)運(yùn)營的軟件而言，它是一個(gè)重要的“生命線”。因?yàn)橹挥凶層脩舾惺艿竭@個(gè)團(tuán)隊(duì)的努力，這個(gè)團(tuán)隊(duì)才有維系下去的意義，而這就需要用戶能夠通過升級拿到新的版本。

然而，即使很多團(tuán)隊(duì)將“查詢是否是最新版本”這個(gè)邏輯做成了軟件啟動后的“第一要?jiǎng)?wù)”，依舊只有一部分熱心用戶會選擇點(diǎn)擊“確定”按鈕，我們來看看他們的顧慮：

（1）    新功能我都用不上，沒有升級的必要。

（2）    新版本可能不穩(wěn)定。

（3）    我是盜版用戶，升級了，破解補(bǔ)丁就無效了

（4）    升級一次下載一個(gè)很大的安裝包，要等很久，還要安裝，太折騰了。

前三個(gè)問題對于不同的產(chǎn)品都沒有通用的解決方案，相比于技術(shù)的問題，它們更像是產(chǎn)品本身的定位問題，或者開發(fā)團(tuán)隊(duì)的素質(zhì)問題，需要具體情況具體分析。但是對于第四種情況，的確是技術(shù)人員可以嘗試去挑戰(zhàn)的。

 【安全補(bǔ)丁】

記得就在幾年前，整個(gè)中國的網(wǎng)絡(luò)環(huán)境遠(yuǎn)沒有現(xiàn)在那么舒適，當(dāng)時(shí)除了部分高校內(nèi)部的校園網(wǎng)有比較高的速度，1M bps的“小水管”還是占絕大多數(shù)。我們姑且稱這個(gè)時(shí)間段為“窄帶時(shí)代”，一個(gè)在線看視頻只能依靠P2P加速的時(shí)代。

而與龜速的網(wǎng)絡(luò)不相協(xié)調(diào)的是，安裝包的體積往往都是十幾兆甚至幾十兆，在這個(gè)環(huán)境下，等待一個(gè)新版本安裝包的下載完成是非常考驗(yàn)?zāi)托牡模嘈盼覀兘^大多數(shù)人都有在緩慢的downloading界面點(diǎn)擊“取消”按鈕的經(jīng)歷。

看來，簡單的下載新版本安裝包并執(zhí)行安裝流程的方案，只適應(yīng)于忠誠的用戶和特定的場景，那我們來關(guān)注下微軟的開發(fā)團(tuán)隊(duì)采用了什么辦法？要知道Windows操作系統(tǒng)的開發(fā)團(tuán)隊(duì)每天都會接到不止一個(gè)有關(guān)Windows的安全漏洞，而這些問題的修復(fù)不僅僅頻繁，而且緊急。

面對帶寬占用和安裝耗時(shí)的問題，微軟采用了安全補(bǔ)丁的辦法：所謂的安全補(bǔ)丁，本質(zhì)上就是攜帶新邏輯一個(gè)或多個(gè)新版本程序文件，比如原來abc.dll中暴露了一個(gè)緩沖區(qū)溢出的漏洞，那我們就發(fā)布一個(gè)已經(jīng)做過保護(hù)的abc.dll 2.0版，包裝成可以獨(dú)立安裝的安全補(bǔ)丁，然后下發(fā)給用戶，在用戶重啟Windows操作系統(tǒng)時(shí)完成替換（Windows在真正的初始化完成后，是很難替換其系統(tǒng)文件的，因?yàn)橄到y(tǒng)要面對占用問題，緩解的方法之一是hotfix技術(shù)，但是絕大多數(shù)場景下，依然需要用戶重啟后安裝）。

這個(gè)過程看似簡單，而且體積苗條的安全補(bǔ)丁不會在下載和安裝上浪費(fèi)什么時(shí)間，按理來說是個(gè)很理想的措施。但實(shí)際在運(yùn)營中卻是代價(jià)巨大的，甚至不是一般的團(tuán)隊(duì)可以承擔(dān)的起的：

首先，一個(gè)足夠復(fù)雜的軟件，其各個(gè)模塊之間的關(guān)系必然是很緊密的，2.0版本的abc.dll往往需要一個(gè)2.0版本的“ddd.dll”、“eee.dll”… 除非一個(gè)dll中封裝的模塊非常非常獨(dú)立，否則不可能存在一個(gè)dll可以隨意替換到以往發(fā)布的任何一個(gè)版本中。這就需要一個(gè)高成本的工作——“定制”。言下之意，如果一款軟件在服役期的版本多達(dá)十幾個(gè)，我們需要提供十幾個(gè)abc.dll 2.0版，給特定的外部版本推送特定的補(bǔ)丁。

其次，任何補(bǔ)丁的發(fā)布都需要嚴(yán)格的測試，一個(gè)版本的測試可能要花費(fèi)若干天的時(shí)間，那么十幾個(gè)版本的測試呢？代價(jià)可想而知。（例如Windows開發(fā)團(tuán)隊(duì)每發(fā)布一批安全補(bǔ)丁都需要幾周的內(nèi)部測試和外部測試，所以有專門的團(tuán)隊(duì)來負(fù)責(zé)此事，而且規(guī)模還非常可觀）

圖1: 補(bǔ)丁升級

只需用戶一個(gè)確認(rèn)，整個(gè)過程便在后臺慢慢地執(zhí)行（誠然，不厭其煩的重啟提示確實(shí)有些騷擾），雖然這么多年來，微軟一直在維系著這種安全、有效并且易于被用戶接受的方案，但不得不說，對于一般的開發(fā)團(tuán)隊(duì)，這套方案顯得過于昂貴了。

【保持最新】

但我們也不必拘泥于這樣一種思路，要知道，微軟采用對特定版本推特定補(bǔ)丁的做法是有著它自身立場的一些考慮的，比如：

（1）    微軟的補(bǔ)丁程序在執(zhí)行邏輯上其實(shí)很復(fù)雜，遠(yuǎn)不止單純的文件替換這么簡單，這是一個(gè)操作系統(tǒng)復(fù)雜到一定階段后的產(chǎn)物。但對于一般的應(yīng)用軟件，簡單的文件比對和替換基本能滿足絕大多數(shù)場景。

（2）    微軟肯定不希望XP或者Vista用戶無緣無故的升級到Win7，但對于普通的免費(fèi)軟件，或者購買license后可以享受終身升級的付費(fèi)軟件，這件事情未嘗不可。

如果拋棄上訴的兩個(gè)包袱，那么我們現(xiàn)在就可以設(shè)計(jì)一個(gè)方案，一切的一切，都始于一個(gè)簡單的想法，讓用戶本地的程序文件跟隨服務(wù)器的最新版本，我們稱之為“文件保持最新”。而且，這個(gè)方案的思想非常的簡單，就是由客戶端程序?qū)⒆约旱陌姹咎柹蟼鹘o升級服務(wù)器，由升級服務(wù)器確定當(dāng)前用戶版本到最新版本需要更新那些文件，將這些需要更新的文件組織成一個(gè)file-list下發(fā)給用戶，而后由客戶端在運(yùn)行過程中將file-list中羅列的文件逐個(gè)下載到本地，并在下次啟動程序前完成替換。

如果再進(jìn)行一些更細(xì)致的考慮，我們還要關(guān)注一些編譯上的知識，比如我們知道一個(gè)PE文件（dll、exe等）頭部會攜帶一些本次編譯特有的信息，比如時(shí)間戳等等，而對于升級而言，只有數(shù)據(jù)段和代碼段的變化才是我們關(guān)注的，所以在進(jìn)行版本間的文件比較時(shí)，我們需要去除掉這部分的干擾信息。

下圖是對這個(gè)簡單想法的描述：

圖2: 保持最新的思路

這個(gè)方案看似比較合理，但是我們都清楚一個(gè)事實(shí)，現(xiàn)在Windows上的應(yīng)用軟件千千萬，但沒有幾個(gè)是采用上述思想進(jìn)行升級的，為什么呢？

因?yàn)檫@個(gè)方案太過于理想化了：一個(gè)軟件如果是基于類似C++的編譯型語言開發(fā)，那么即使過濾掉頭信息的變化，兩個(gè)不同版本的程序文件也沒有多少是相同的，甚至一個(gè)都沒有。要解釋清楚這個(gè)現(xiàn)象，我們也要像上面一樣，再關(guān)注一些編譯和鏈接上的知識：

我們來看引發(fā)一個(gè)PE文件的差異的原因，其實(shí)主要源自三種因素（詳情可以參考http://www.daemonology.net/papers/bsdiff.pdf）：

（1）    頭信息變化：上面以及提及，這是編譯器每次生成二進(jìn)制文件時(shí)都會參雜進(jìn)去的信息，剛才也說了，這種信息很好規(guī)避。

（2）    代碼的變化：你修改了一個(gè)Project中的部分代碼，那么反映到二進(jìn)制PE文件中就會有一段明顯而集中的差異。這是不可避免的。

（3）    間接的影響：我們知道編譯出的PE文件中有大量的信息是絕對的地址，如果你改變了一個(gè)指針的指向，那么所有引用這個(gè)指針的地址都會發(fā)生變化，好吧，你要接受一個(gè)事實(shí)：一行代碼的變化會被編譯器嚴(yán)重放大，而且一個(gè)PE文件的變化可能并非源自于這個(gè)Project自己的源代碼差異。

如果是一個(gè)由幾百萬行代碼組成的龐大系統(tǒng)，單單組成它的Project就多達(dá)上百個(gè)，各個(gè)模塊之間的依賴關(guān)系異常復(fù)雜，那么上面提及的第三種差異（即間接的影響），在決定程序文件的差異度上的作用就會被無限放大。

也就是說，如果采用這種方案，一個(gè)普通的應(yīng)用軟件一次升級可能需要耗掉100M以上的帶寬。雖然最近幾年中國的網(wǎng)絡(luò)環(huán)境越發(fā)舒適，但我們都清楚，這個(gè)數(shù)量級還不是我們能夠接受的。所以我們可以回答剛才那個(gè)問題了“為什么沒有幾個(gè)軟件是采用上述思想進(jìn)行升級的”。

【差間壓縮】

    稍微對軍事略感興趣的朋友都知道，20世紀(jì)最具創(chuàng)新意義的軍事武器，都是誕生于二戰(zhàn)后期，戰(zhàn)爭的需求極大地推動了技術(shù)的進(jìn)步。同樣的，現(xiàn)代互聯(lián)網(wǎng)的很多需求也不斷地催生著技術(shù)的進(jìn)步，比如說——游戲。

大型網(wǎng)游其實(shí)一直都面臨著類似的問題：首先，游戲資源文件大多是被打包在一起并進(jìn)行加密的，尤其是3D網(wǎng)游，它們的資源包動輒過G。而另一方面，為了增加游戲的互動性已經(jīng)節(jié)日活動，頻繁的更新也必不可少，那總不能每次升級都強(qiáng)迫用戶下載上G的更新文件吧？

安全的要求和運(yùn)營的壓力本就矛盾，但技術(shù)團(tuán)隊(duì)找到了一個(gè)“曲線救國”的方案，那就是不再只盯著一個(gè)個(gè)文件，而是縮小比較的粒度，將文件的差異縮小到Bit級，直接關(guān)注二進(jìn)制差異。同樣的思路也可以被搬到這里：

如果一個(gè)DLL文件在前后兩個(gè)版本的迭代中發(fā)生了變化，那么肯定不是每個(gè)Bit都發(fā)生了差異，而只是其中一些Bit有所不同。如果我們將這些差異提取出來，做成二進(jìn)制Patch，那么只需要由升級服務(wù)器向客戶端下發(fā)這些Patch，那么客戶端自己就可以根據(jù)這些Patch以及舊文件“合成”出新版本的文件。

如果一個(gè)5M的DLL發(fā)生了差異，往往只是因?yàn)樾薷牧似渲械囊恍写a，那么使用上面的思想，我們就可以只產(chǎn)生一個(gè)不到1K的差異Patch，將其下發(fā)給客戶端，由5M到1K，我們節(jié)約了99.98%的帶寬。

圖3：將粒度縮小到bit

那么如何實(shí)現(xiàn)呢？

其實(shí)方法有很多，但是目前最普遍適用的是一種稱為“滑動比較”的方案，簡單用圖描述一下其思路大致如下：

圖4：滑動delta算法

上面說的這種思路，在計(jì)算機(jī)領(lǐng)用被稱之為“delta壓縮”，或者“差間壓縮”，比較典型的例子就是視頻壓縮領(lǐng)域的幀間差量，第二幀只保存較第一幀中變化的部分。

【PE文件】

但是對于PE文件，問題又出現(xiàn)了，地址變動引發(fā)的差異往往會稀疏得散落于整個(gè)文件的各個(gè)部分。（最壞的情況下，公共頭文件中一行代碼的改動，可以在最終生成的二進(jìn)制文件中產(chǎn)生多大10%的差異。）仔細(xì)用Beyond Compare比對一下兩個(gè)版本的DLL文件，你會發(fā)現(xiàn)，每隔幾十個(gè)字節(jié)，一個(gè)地址變了，又過了十幾個(gè)字節(jié)，同樣的地址又變了。所以“滑動匹配”的方案又不適用，因?yàn)椴捎眠@種方法算出來的差異補(bǔ)丁往往不比實(shí)際文件小多少。

圖5：PE文件的差異

這個(gè)問題其實(shí)是方向性錯(cuò)誤，還記得上面提到的PE文件差異原因時(shí)的第三類差異嗎？我們用了精確匹配的思想去對付一個(gè)不能精確比對的問題，就好像基因工程中的相似度比較，人和黑猩猩的基因差異可能不到1%，但是這1%的差異是散落于23對DNA的各個(gè)片段中。

圖6：尋找其中的規(guī)律

我們仔細(xì)看一下上面【圖6】中二進(jìn)制變化，就會發(fā)現(xiàn)這里似乎存在著一些規(guī)律：

• 近似區(qū)域的差異源自指針地址的變遷
• 指向同一地址的指針會發(fā)生同樣的變化
• 臨近地址往往發(fā)生攜同性質(zhì)的變化

于是乎，我們的算法需要對這些問題進(jìn)行分類處理了。換句話說，由于代碼變化引起的二進(jìn)制差異可以作為一類進(jìn)行處理，因?yàn)檫@些差異即集中又明顯。而由于指針偏移間接引起的差異則要統(tǒng)計(jì)的收斂起來，這些差異往往都是同質(zhì)的，往往幾十處的二進(jìn)制差異源自一個(gè)指針的跳變。

圖7：分而治之的處理

如何在一段二進(jìn)制程序段中尋找出這些差異并進(jìn)行合理的壓縮，這個(gè)需求非常迫切，而且已經(jīng)有了成熟的方案：

• BsDiff: Linux中的一個(gè)開源工具，致力于快速和輕量的更新Linux的操作系統(tǒng)漏洞（跟微軟的安全補(bǔ)丁類似），其算法的核心思想是基于統(tǒng)計(jì)學(xué)規(guī)律進(jìn)行近似匹配，然后通過一系列的變化(比如BWT變換)提高“近似段”的壓縮率。
• Courgette: Google Chrome升級系統(tǒng)的核心模塊，基于BsDiff，但對其進(jìn)行了一系列的改進(jìn)，將平臺相關(guān)的信息（即x86匯編指令）融入其中，以期望更精確的定位指針，從而避免統(tǒng)計(jì)算法在差異明顯時(shí)候的錯(cuò)誤率。

上述兩個(gè)模塊的內(nèi)部原理還是很有意思的，前者是典型的學(xué)術(shù)思維，后者則是集大成的工程師風(fēng)范，但為了避免打消您閱讀完此文的動力，我會在稍后的文章中再做補(bǔ)充。

如果不考慮跨平臺問題，毫無疑問Google的Courgette是做得更加優(yōu)秀的，下面是根據(jù)Chrome團(tuán)隊(duì)官網(wǎng)（http://dev.chromium.org/developers/design-documents/software-updates-courgette）上提供的統(tǒng)計(jì)數(shù)據(jù)制作出的圖標(biāo)：

圖8：不錯(cuò)的帶寬節(jié)省

由于二進(jìn)制差異對帶寬的節(jié)省非常驚人，所以用戶通過很低的帶寬耗用下載到一個(gè)升級包，整個(gè)過程可以盡可能地減少對用戶的騷擾。比如在用戶在使用Chrome瀏覽器時(shí)，可以無感的升級到最新版本，盡可能地避免自己的瀏覽器漏洞不被非法網(wǎng)頁利用。

最重要的是，由于整個(gè)補(bǔ)丁包的制作過程基于統(tǒng)一的算法，所以整個(gè)過程可以進(jìn)行自動化的收攏，從而將人從其中解放出來。即互諒網(wǎng)上存在該軟件很多不同的版本，但我們省去了最開始提到的為每個(gè)版本定制不同補(bǔ)丁時(shí)的重復(fù)工作，一切交給計(jì)算機(jī)來自動完成。

【回顧總結(jié)】

話題到這里基本就結(jié)束了，總的來說，本文概括了幾種常見的客戶端軟件升級方案，它們在實(shí)現(xiàn)方案上各有不同，但都為是為了解決某一問題而誕生。如所有的領(lǐng)域一樣，計(jì)算機(jī)這個(gè)領(lǐng)域的技術(shù)的進(jìn)步就是在一次又一次的挑戰(zhàn)中不斷前進(jìn)，不斷去嘗試，在各種苛刻的需求和棘手的問題面前不斷進(jìn)化，才最終鑄造了我現(xiàn)在這個(gè)偉大的時(shí)代。