1，到底什么是“重復(fù)數(shù)據(jù)刪除(Deduplication)”技術(shù)
簡(jiǎn)單地說，就是在通過網(wǎng)絡(luò)傳輸或存儲(chǔ)數(shù)據(jù)時(shí)，不傳送或存儲(chǔ)多份相同 數(shù)據(jù)，以減少對(duì)網(wǎng)絡(luò)帶寬和存儲(chǔ)空間的占用。實(shí)際上以前的SIS（單實(shí)例存儲(chǔ)）就是一種Dedu技術(shù)，但是它去重的單位是文件。現(xiàn)在流行的Deduplication技術(shù)通過是以數(shù)據(jù)塊為單位的，去重效果會(huì)更好，實(shí)現(xiàn)起來復(fù)雜程度也更高一些。這些技術(shù)用在數(shù)據(jù)備份領(lǐng)域效果最好，因?yàn)槎啻稳珎?份產(chǎn)生的數(shù)據(jù)中包含大量的重復(fù)數(shù)據(jù)。增量備份可以在一定程度上減少重復(fù)備份，但是它的單位是文件，顆粒度不好，而且長(zhǎng)期采用增量備份也不實(shí)際，因?yàn)檫€原時(shí) 會(huì)非常復(fù)雜。如果通過合成備份來解決這一問題，合成作業(yè)又會(huì)產(chǎn)生額外的開銷。
2，去重技術(shù)如何應(yīng)用于備份或數(shù)據(jù)復(fù)制
去 重技術(shù)主要應(yīng)用于在低帶寬的情況下實(shí)施數(shù)據(jù)備份，復(fù)制。例如分支機(jī)構(gòu)的數(shù)據(jù)保護(hù)和窄帶容災(zāi)。原理基本相同，在傳送一個(gè)文件之前，會(huì)先計(jì)算該文件的指紋，如 果與之前傳送過的文件相同，則只傳送文件屬性和指針，不傳送實(shí)際的數(shù)據(jù)。如果文件指紋與之前傳送過的文件不同，則將文件拆分為更小的數(shù)據(jù)段，對(duì)每個(gè)段做指 紋，重復(fù)的段只傳送指針。由此可見，實(shí)際傳送的數(shù)據(jù)量決定于備份或復(fù)制間隔內(nèi)所產(chǎn)生的數(shù)據(jù)變化量。
3，去重適用于什么類型的數(shù)據(jù)，不適用于什么類型的數(shù)據(jù)？
去重適用于任何類型的數(shù)據(jù)，比如辦公文檔，數(shù)據(jù)庫，多媒體文件，虛擬機(jī)等。雖然有些數(shù)據(jù)由于其自身的特點(diǎn)決定，第一次備份時(shí)去重效果不是特別明顯，但是在后續(xù)的備份中，去重技術(shù)的優(yōu)勢(shì)就顯現(xiàn)出來了。備份的次數(shù)越多，間隔越短，重復(fù)數(shù)據(jù)刪除比就越高。
4，怎么才能知道去重技術(shù)對(duì)我的數(shù)據(jù)是否有效？
去重效果主要決定于以下幾個(gè)方面：A，有多少數(shù)據(jù)改變，數(shù)據(jù)變化量越少，去重效果越明顯；B，數(shù)據(jù)是否可以被有效壓縮，壓縮技術(shù)通常與去重技術(shù)一起使用，壓 縮率高的數(shù)據(jù)，即使去重率不高，通過壓縮，也可以明顯在節(jié)省帶寬和存儲(chǔ)；C，你所采用的備份方式（全備，差備，增備），對(duì)全備最明顯，對(duì)增備也同樣有效， 例如，一個(gè)50M的文件，只有一個(gè)128K的數(shù)據(jù)塊發(fā)生了變化，增量備份要備整個(gè)50M文件，去重技術(shù)則只備份變化的數(shù)據(jù)塊；D，數(shù)據(jù)要保留多久，數(shù)據(jù)保 留周期越長(zhǎng)，去重技術(shù)的優(yōu)勢(shì)越突出，因?yàn)樗梢詷O大地節(jié)省你的存儲(chǔ)空間。
5，去重技術(shù)到底有什么益處？
前面介紹過了，可以節(jié)省你的存儲(chǔ)空間和網(wǎng)絡(luò)寬帶。這樣你就可以通過高速磁盤存儲(chǔ)保留更多的備份數(shù)據(jù)了，將更多的備份數(shù)據(jù)存儲(chǔ)于有限的磁盤空間，減少對(duì)磁帶的使用，節(jié)省成本，也提高了恢復(fù)數(shù)據(jù)時(shí)的效率。節(jié)省帶寬這一優(yōu)勢(shì)可用于分支機(jī)構(gòu)的數(shù)據(jù)保護(hù)和實(shí)現(xiàn)低成本的窄帶數(shù)據(jù)容災(zāi)。
6，什么是定長(zhǎng)塊去重，什么是可變長(zhǎng)塊去重？
數(shù) 據(jù)的變化是沒有規(guī)律的，如果采用定長(zhǎng)的數(shù)據(jù)塊，則不管數(shù)據(jù)變化量是多少，也不管發(fā)生數(shù)據(jù)變化的比特位在數(shù)據(jù)塊的什么位置，都要備份整個(gè)數(shù)據(jù)塊。這樣分塊大 時(shí)，傳輸?shù)臄?shù)據(jù)量較大，數(shù)據(jù)塊小時(shí)，管理信息會(huì)有較大的增加。采用可變長(zhǎng)塊可以有效解決上述問題，去重的效果會(huì)比定長(zhǎng)塊方案要好，但是，變長(zhǎng)塊也同樣增加 了數(shù)據(jù)管理的復(fù)雜度。
7，采用去重技術(shù)來存儲(chǔ)和備份數(shù)據(jù)，安全性如何？會(huì)不會(huì)出現(xiàn)不能恢復(fù)的情況？
去重技術(shù)是成熟技 術(shù)，非常安全，十個(gè)相同文件，采用去重技術(shù)存儲(chǔ)，數(shù)據(jù)只會(huì)保留一份，但是這十個(gè)文件的屬性會(huì)分別保存，并有指針指向與它們對(duì)應(yīng)的數(shù)據(jù)塊。去重技術(shù)采用文件 或數(shù)據(jù)塊的指紋（MD5,SHA或CRC等）來判斷重復(fù)性，可能會(huì)產(chǎn)生“碰撞”，也就是不同的文件或數(shù)據(jù)塊計(jì)算出相同的指紋，從而導(dǎo)致數(shù)據(jù)丟失。但是這種 可能性非常小，而且成熟產(chǎn)品會(huì)采用多種指紋技術(shù)來進(jìn)一步降低“碰撞”的可能。
8，什么是前去重，什么是后去重？
前去 重是指我們用備份服務(wù)器備份某一臺(tái)計(jì)算機(jī)上的數(shù)據(jù)時(shí)，去重的操作發(fā)生在被保護(hù)的計(jì)算機(jī)上，這樣的話，從該計(jì)算機(jī)到備份服務(wù)器之間也不會(huì)有重復(fù)數(shù)據(jù)出現(xiàn)，節(jié) 省這一段網(wǎng)絡(luò)帶寬，但是會(huì)增加被保護(hù)計(jì)算機(jī)的負(fù)擔(dān)。后去重則是數(shù)據(jù)傳送到備份服務(wù)器之后再刪除掉重復(fù)數(shù)據(jù)，可以存儲(chǔ)在磁盤上，也可以進(jìn)一步通過網(wǎng)絡(luò)傳遞。 這樣方案不會(huì)增加被保護(hù)主機(jī)的負(fù)擔(dān)。通常對(duì)于大一點(diǎn)兒的站點(diǎn)，我們會(huì)采用這種方案，把去重的任務(wù)交由該站點(diǎn)內(nèi)的專用服務(wù)器來完成。
9，去重技術(shù)支持備份到磁帶嗎？
磁 帶不支持隨機(jī)訪問，所以在磁帶上實(shí)現(xiàn)去重技術(shù)難度較大，且效率不高，磁帶相對(duì)于磁盤來說，成本也較低。所以目前的去重解決方案主要是應(yīng)用于磁盤存儲(chǔ)。如果 用備份軟件將磁盤上的去重?cái)?shù)據(jù)復(fù)制到磁帶上時(shí)，被去重的數(shù)據(jù)往往被還原為非去重狀態(tài)。這樣也可以在一定程度上降低去重為數(shù)據(jù)的可用性所帶來的風(fēng)險(xiǎn)（重復(fù)數(shù) 據(jù)只保存一份，這就意味著，這一份數(shù)據(jù)受損，將導(dǎo)致一組文件無法正常使用）。
10，實(shí)現(xiàn)去重方案要花多少錢？
目前提供這一方案的廠家很多，相關(guān)解決方案的價(jià)格會(huì)有一些差別。總的來講，在這一部分的投入，很快會(huì)通過對(duì)網(wǎng)絡(luò)帶寬和存儲(chǔ)空間的節(jié)省而得到回報(bào)。所以目前這一技術(shù)是主流的數(shù)據(jù)保護(hù)技術(shù)，比較受用戶歡迎。特別是那些數(shù)據(jù)量較大的用戶。
原文地址：
http://blog.csdn.net/liuben/article/details/5058538