重复数据删除

重复数据删除(data deduplication)技术的出现，给缺钱的SMB(small and medium-sized businesses，中小企业)提供了一个可以负担得起的基于磁盘的数据备份的方式。

重复数据删除技术事实上并非一项多么新颖的技术。早在一年前，便随着Microsoft的介入，使得业界与用户对这项技术份外看好。而在那之前，赛门铁克与ADIC（已被昆腾公司收购）等存储厂商也已开始在其虚拟磁带库、磁盘设备以及网关中提供数据重复删除功能，并把这个领域作为未来的一个重点技术加以投资。

2008年8月6日，北京——全球知名的企业级数据保护解决方案生产研发厂商SEPATON公司今天发布了面向Symantec? NetBackup?环境的FastStart重复数据删除包。FastStart提供行业领先的性能、企业级可扩展性以及业内最佳的重复数据删除比率，对Microsoft Exchange数据的删除比率最低40:1。如达不到此最低水平，用户可以免费获得额外所需的磁盘空间。

坦率的说，磁带并不符合电子发现的要求。虽然业内专家认为磁带是替代企业备份的一个可行方案，但是在案件审理过程中对存储数据检索上，磁带方案是行不通的。

重复数据删除厂商正努力推动重复数据删除技术，不再简单地局限于数据备份。

日立数据系统公司首席技术官 Hu Yoshida 指出，2008年，各种新技术将相继推出，如删除重复数据、自动精简预配置、服务导向型存储等。对于企业中面临数据快速增长、IT 预算紧缩、预期日益提高的 IT 组织来说，这些新兴技术的出现的确是雪中送炭。

领先业界的创新性存储和数据管理解决方案提供商 NetApp 公司（美国纳斯达克股票代号：NTAP）今天宣称，NetApp V 系列存储虚拟化解决方案能够为其它提供商的主存储系统提供重复数据删除。

为美国国防部管理8500亿美元合同的国防合同管理局(DCMA)在全球拥有1.1万雇员，在波士顿和加利福尼亚的卡森设有两个主数据中心，在14个国家设立了30个远程站点，从阿富汗到亚历山大。据它的网络设计主管Peter Amstutz称，在未来一年里，该局要将其384TB的备份存储在spinning disk上，这被认为会使功效大幅提高。

虽然存储的售价一直都在不停的下降，但也远远赶不上公司内需要保存和备份的数据量的攀升速度。那么，是否有这样一种解决方案，它能够压缩大量的已有数据(压缩率达到1:10～1:20)，释放大量的存储空间，大大降低基于磁盘备份的成本?这正是重复数据删除(data de-duplication)技术为我们所许下的承诺。

Citrix与NetApp近日联手，多项虚拟化新技术都将被应用于存储领域。双方的合作使业界的目光再次聚焦于服务器虚拟化与存储的整合。服务器虚拟化技术发展如火如荼，存储系统无疑会受到影响。二者结合会擦出怎样的火花？数据中心的整体架构会因此如何发展演变？

正如大家预期的，经过一翻努力，NetApp公司将块级“重复数据删除（de-duplication）技术”加到了其FAS 和 NearStore R200生产线上。这家公司的“高级单一实例存储（Advanced Single Instance Storage，A-SIS）” 用户通过目前已经签订的服务协议，就可以免费升级成Ontap 7G 用户；其它用户将需要支付大约相当于他们系统总成本的1-2%的费用才能完成这个升级。

由于存储经理们急需降低备份数据量，重复数据删除(data de-duplicantion)技术从而成为近来十分热门的技术。但是大家对于重复数据删除的基本概念却知之甚少，经常把重复数据删除、压缩算法技术和单一实例存储混为一谈。尤其是重复数据删除与单一实例存储，本身在表现形式和功能上有较多的相似之处，在概念上更加容易混淆，本文将深入分析二者的异同之处，并指出何种条件下，客户应该如何选择。

重复数据删除的客户价值是多方面的，但是最显著的优点是解决了一直困扰备份恢复业界多年的“容量膨胀”问题，因为重复数据删除可以在后端大为减少备份数据量。

单一实例存储的英文全称是Single Instance Storage (SIS)，单一实例存储被启用后，就会作为一个后台的服务运行，把内容重复的文件合并到一个共用的存储空间。重复的文件被该文件的链接（指针）替代，对于用户和应用程序来讲就像原始文件一样。

单纯从技术角度来看，单一实例存储与重复数据删除并无优劣之分，只不过适用的范围不同罢了，重复数据删除由于从物理层解析冗余重复的数据块，所以对于重复性较高的数据库和文件系统的备份任务，其压缩比相应较高。但是对于重复性较低的操作，如作为文件服务器、邮件服务器或者内容服务器的数据存储，以及对于压缩文件格式的数据处理，如：影像格式、音频格式以及扫描图片格式等的存储操作，则压缩比较低或者几乎没有压缩。

这三个概念各有各的产生过程，数据压缩是整个数据存储的基础，是信息数字化的基本处理方式，具有普遍的概念。增量备份由于其形式和重复数据删除技术有相似的位置，这也是产生概念混淆的原因。

重复数据删除技术的含义就是存储数据时，检查和比较已存在的数据。如果它们是相同的，那就过滤掉这部分数据的备份，然后通过指针引用已存在的数据。重复数据删除技术对备份这样的应用是非常突出的，同时也产生了大量重复数据删除技术的副产品。这些应用都是重复数据删除技术首选的目标。

重复数据删除技术大约是在去年进入人们视线的，最初提供这项技术产品的厂商包括Asigra，Avamar，DataDamain，Diligent，以及OEM软件厂商Rocksoft等，如今我们看到所有销售数据保护产品的厂商们都开始涉猎这项技术。业内人士对重复数据删除寄予了厚望，甚至预测重复数据删除技术将远远超越CDP成为今年最热门的新技术。

如今几乎所有数据保护供应商都拥有重复数据删除的相关产品，尽管重复数据删除事实上砍掉了厂商VTL产品的部分容量销售额，直接影响到厂商的最终收益，但是我们看到，这些数据保护供应商仍然不遗余力的在推广重复数据删除所能带来的种种优势。而重复数据删除在成本上可能产生的巨大收益，让更多的用户无法抵御他的诱惑。

尽管今天单位存储空间的成本不断走低，但企业需要存储或者备份的数据量仍然在持续上涨，导致了企业在磁盘存储空间方面无止境的成本投入。现在，已经有相当的一部分用户已经部署了重复数据删除，那么企业真正在部署重复数据删除的时候，需要考虑哪些问题呢。