有人說(shuō)我們從來(lái)沒(méi)有真正解決任何IT問(wèn)題，我們只是轉(zhuǎn)移了這些問(wèn)題。重復(fù)數(shù)據(jù)刪除同樣也不例外。雖然重復(fù)數(shù)據(jù)刪除系統(tǒng)使得我們的備份和恢復(fù)變得更加簡(jiǎn)單，但同樣也存在許多挑戰(zhàn)。精明的存儲(chǔ)或者備份管理員能夠通曉這些挑戰(zhàn)，并且盡一切可能來(lái)解決它們。

　　你的備份系統(tǒng)有三種不同的創(chuàng)建重復(fù)數(shù)據(jù)的方法：重復(fù)所有文件系統(tǒng)或應(yīng)用的備份;重復(fù)文件系統(tǒng)或應(yīng)用增加的備份;以及備份到多個(gè)地方(例如：位于同樣操作系統(tǒng)或應(yīng)用程序的多臺(tái)機(jī)器)的文件?；贖ash的重復(fù)數(shù)據(jù)刪除系統(tǒng)(例如：CommVault Systems公司, EMC 公司, FalconStor Software, Quantum公司, Symantec公司)能識(shí)別和刪除所有三種類型的重復(fù)數(shù)據(jù)，但是粒度級(jí)別受限于它們的塊大小，典型的塊大小是8K或者更大?；贒elta-differential的重復(fù)數(shù)據(jù)刪除系統(tǒng)(例如: IBM公司, ExaGrid Systems, Sepaton公司)則只能識(shí)別和刪除前兩種類型的重復(fù)數(shù)據(jù)，但是它們的粒度級(jí)別能夠小到byte級(jí)。這些差異在重復(fù)數(shù)據(jù)刪除率方面通常打成平局，但在某些特定的環(huán)境中能產(chǎn)生明顯的差異，這就是為什么大多數(shù)專家建議你測(cè)試多種產(chǎn)品的原因。

　　由于在絕大多數(shù)的備份數(shù)據(jù)中大約有一半的重復(fù)數(shù)據(jù)來(lái)自于多個(gè)完全備份。使用IBM的Tivoli存儲(chǔ)管理器(TSM)作為備份產(chǎn)品的用戶相比于使用其他備份產(chǎn)品的用戶，能獲得更低的重復(fù)數(shù)據(jù)刪除率。這是因?yàn)門(mén)SM的逐步增量功能，用戶無(wú)需在TSM備份的文件系統(tǒng)上再進(jìn)行全備份。然而，由于TSM用戶對(duì)他們的數(shù)據(jù)庫(kù)和應(yīng)用執(zhí)行了全備份，并且由于全備份的數(shù)據(jù)并不只在重復(fù)數(shù)據(jù)被發(fā)現(xiàn)的地方存在一份，TSM用戶依然能夠受益于重復(fù)數(shù)據(jù)刪除系統(tǒng)——他們的重復(fù)數(shù)據(jù)刪除率將會(huì)更小。

　　第二種類型的重復(fù)數(shù)據(jù)來(lái)自于增量備份，增量備份包含著自最近一次完全備份以來(lái)，文件或者應(yīng)用程序的多個(gè)版本。如果一個(gè)文件每天都被修改和備份，而且備份系統(tǒng)的備份保留期為90天，那么這個(gè)備份系統(tǒng)中將會(huì)存在該文件的90個(gè)版本。一個(gè)重復(fù)數(shù)據(jù)刪除系統(tǒng)將會(huì)識(shí)別這90個(gè)不同版本中的唯一數(shù)據(jù)片段和冗余數(shù)據(jù)段，并且只保存唯一的數(shù)據(jù)片段。然而，有些文件類型不存在不同的版本(例如視頻，音頻，照片或圖像，以及PDF文件)，每個(gè)文件其自身就是獨(dú)一無(wú)二的，并且不會(huì)和同一個(gè)文件的先前版本有重復(fù)。擁有這些類型文件的增量備份將完全包含這些唯一的數(shù)據(jù)，因此沒(méi)有任何重復(fù)數(shù)據(jù)可以刪除?？紤]到重復(fù)數(shù)據(jù)刪除存儲(chǔ)的相關(guān)成本，一些擁有此類文件占很大比重的用戶考慮不將這些數(shù)據(jù)存儲(chǔ)在重復(fù)數(shù)據(jù)刪除系統(tǒng)上，因?yàn)槌嗽黾映杀?，他們得不到任何好處?/p>

　　重復(fù)數(shù)據(jù)刪除系統(tǒng)和加密：你需要注意什么

　　重復(fù)數(shù)據(jù)刪除系統(tǒng)通過(guò)查找和消除的模式工作;加密系統(tǒng)通過(guò)消除模式工作。不要將你需要備份的數(shù)據(jù)在發(fā)送到重復(fù)數(shù)據(jù)刪除系統(tǒng)之前進(jìn)行加密——-否則你的重復(fù)數(shù)據(jù)刪除率將是1:1。壓縮工作有點(diǎn)像加密，它同樣是查找和消除模式，只是采用了不同的方法。絕大多數(shù)壓縮系統(tǒng)的這種方法將導(dǎo)致數(shù)據(jù)的不規(guī)則性從而產(chǎn)生像加密一樣的效果;它同樣可以使你的重復(fù)數(shù)據(jù)刪除系統(tǒng)完全失去處理這些數(shù)據(jù)的能力。

　　壓縮的挑戰(zhàn)經(jīng)常會(huì)導(dǎo)致想要備份變得更快的數(shù)據(jù)庫(kù)管理員和希望進(jìn)行重復(fù)數(shù)據(jù)刪除的備份管理員之間的僵局。因?yàn)閿?shù)據(jù)庫(kù)經(jīng)常產(chǎn)生容量很大但實(shí)際數(shù)量很少的數(shù)據(jù),因此它們非常需要進(jìn)行壓縮。這就是在打開(kāi)了備份壓縮功能后通常會(huì)比沒(méi)有壓縮快2到4倍的原因。避開(kāi)這個(gè)特殊挑戰(zhàn)的唯一辦法是使用一個(gè)備份軟件產(chǎn)品，這種產(chǎn)品集成了數(shù)據(jù)源重復(fù)數(shù)據(jù)刪除和客戶端壓縮的功能。例如CommVault的 Simpana, IBM的 TSM 或者 Symantec 的NetBackup。

　　復(fù)用和重復(fù)數(shù)據(jù)刪除系統(tǒng)

　　備份系統(tǒng)重復(fù)數(shù)據(jù)刪除的下一個(gè)挑戰(zhàn)是它只能應(yīng)用在那些使用了虛擬磁帶庫(kù)(VTLs)和支持復(fù)用的備份軟件的公司，復(fù)用多個(gè)不同的備份到同一個(gè)磁帶驅(qū)動(dòng)器上會(huì)擾亂這些數(shù)據(jù)并且完全挫敗所有的重復(fù)數(shù)據(jù)刪除。即使有產(chǎn)品能夠破譯來(lái)自一個(gè)復(fù)用鏡像的不同備份流(例如FalconStor, Sepaton)，我要告訴你的是，不要對(duì)他們的設(shè)備進(jìn)行復(fù)用備份，因?yàn)槟侵皇抢速M(fèi)時(shí)間。

　　考慮去重開(kāi)銷

　　備份重復(fù)數(shù)據(jù)刪除的最后一個(gè)挑戰(zhàn)是必須使用備份窗口，這種方法很可能使得一些重復(fù)數(shù)據(jù)刪除系統(tǒng)在執(zhí)行重復(fù)數(shù)據(jù)刪除任務(wù)時(shí)導(dǎo)致要進(jìn)行的備份變得很慢。很多人都沒(méi)有注意到這個(gè)現(xiàn)象，那是因?yàn)橛脩羰菍?shù)據(jù)從磁帶轉(zhuǎn)移到磁盤(pán)中，并且重復(fù)數(shù)據(jù)刪除系統(tǒng)仍然高速運(yùn)行。然而，已經(jīng)使用磁盤(pán)分段的用戶可能注意到備份性能的下降以及備份數(shù)據(jù)所消耗的時(shí)間的增長(zhǎng)。不是所有的產(chǎn)品都有這個(gè)特殊的功能，而且所表現(xiàn)出來(lái)的程度也不同，你只有在你的環(huán)境中做一個(gè)測(cè)試，才能詳細(xì)了解情況。

　　恢復(fù)的挑戰(zhàn)更加容易理解，大多數(shù)重復(fù)數(shù)據(jù)刪除系統(tǒng)存儲(chǔ)數(shù)據(jù)的方式導(dǎo)致了最近備份以零碎的方式進(jìn)行記錄。如果備份系統(tǒng)沒(méi)有做重復(fù)數(shù)據(jù)刪除，那么重復(fù)數(shù)據(jù)刪除備份的恢復(fù)操作可能需要花費(fèi)更長(zhǎng)的時(shí)間。這種現(xiàn)象被稱之為“去重開(kāi)銷”。

　　當(dāng)考慮去重開(kāi)銷時(shí)，想想你是否計(jì)劃使用重復(fù)數(shù)據(jù)刪除系統(tǒng)作為磁帶復(fù)制的來(lái)源，因?yàn)槿ブ亻_(kāi)銷在大型恢復(fù)和磁帶復(fù)制中非常普遍。例如，假設(shè)你計(jì)劃使用具有140MBps速度和1.5TB存儲(chǔ)容量的LTO-5驅(qū)動(dòng)器，再假設(shè)你已經(jīng)檢測(cè)了你所有的備份磁帶并且發(fā)現(xiàn)你有2.25TB的數(shù)據(jù)需要存到1.5TB的磁帶上，這意味著你需要獲得1.5:1的壓縮比率。這也意味著在復(fù)制的過(guò)程中你的140MBps的磁帶驅(qū)動(dòng)器實(shí)際上應(yīng)該以大約210MBps的速度運(yùn)行。確保在運(yùn)行期間，重復(fù)數(shù)據(jù)刪除系統(tǒng)能夠提供運(yùn)行的需求(如例子中的210MBps),如果不能夠，你可能需要考使用另外一個(gè)系統(tǒng)。

　　重復(fù)數(shù)據(jù)刪除恢復(fù)的最后一個(gè)挑戰(zhàn)是他們?nèi)匀辉诨謴?fù)，這就是為什么重復(fù)數(shù)據(jù)刪除系統(tǒng)不是一個(gè)“萬(wàn)靈藥”。一個(gè)必須進(jìn)行恢復(fù)的大型系統(tǒng)，要求能夠?qū)崿F(xiàn)數(shù)據(jù)從重復(fù)數(shù)據(jù)刪除系統(tǒng)到產(chǎn)品系統(tǒng)的大容量復(fù)制。只有將你的備份系統(tǒng)進(jìn)行總體架構(gòu)上的改變，如從傳統(tǒng)備份系統(tǒng)變成具有連續(xù)數(shù)據(jù)保護(hù)(CDP)或者準(zhǔn)CDP的系統(tǒng)才能解決這個(gè)特殊的挑戰(zhàn)，這樣能夠使恢復(fù)時(shí)間保持在幾秒而不是幾小時(shí)。

　　重復(fù)數(shù)據(jù)刪除系統(tǒng)能夠在不進(jìn)行大規(guī)模架構(gòu)調(diào)整的情況下，給你帶來(lái)大幅提升當(dāng)前備份和恢復(fù)系統(tǒng)能力的希望。只是在你簽署采購(gòu)訂單之前，請(qǐng)確保能夠意識(shí)到重復(fù)數(shù)據(jù)刪除的這些挑戰(zhàn)。