重复数据删除

随着数据量的不断增长，数据存储安全的重要性开始逐渐被越来越多的人所重视，在数据存储安全性方面，数据备份的重要作用越来越得到体现。在数据存储中，各种病毒，非法操作，误操作，自然灾害都会造成大量的数据损失。据统计，硬件故障，软件错误以及人的误操作是数据丢失的最主要原因。50%以上的数据丢失是由于硬件故障或软件错误造成的，剩下的数据丢失由人的错误操作造成，很小的一部分数据丢失才是由病毒类产生。因此，数据备份的逐渐成为存储技术中非常重要的研究和发展部分。

重复删除技术是最近谈得比较多的热门技术。由于这个概念的产生，造成了大家对这三个概念的混淆，我们首先通过重复删除技术本身的特点分析，分清相互的区别。

如果在我们的环境里使用磁盘代替磁带，你更倾向于后处理方式或在线处理方式的哪一种？或者是采用其他什么不同的方法？

就在几年前，一提起备份大家就自然而然地想到磁带，但是在数据量爆炸式增长的今天，磁带技术由于其性能以及可靠性方面的固有缺陷变得越来越不能满足不断变化的业务需求，加之磁盘设备价格的下降，已经有越来越多的用户采用磁盘备份的解决方案。

磁带用于数据存储已经有50多年的历史，堪称IT发展史上最古老的存储技术。在50多年的时间里，磁带一度成为数据备份的标准设备，几乎所有的软件都支持磁带备份。不过，存储技术发展到现在，相比磁带，磁盘表现出越来越大的优势。

50年以来，备份操作意味着把部分或全部数据复制到磁带机，以备将来恢复使用。数据大量复制到磁带，是因为磁带存储的成本低于保存原始数据的磁盘成本。

用于 VMware® Virtual Infrastructure 3 (VI3) 的 DR 要求您的所有 VM（虚拟机）都需要定期复制到远程站点，从而消耗了大量的存储和网络带宽。通过在 VMware 主存储系统上使用 NetApp 重复数据删除，可以大大减少您的主存储环境中的数据量。数据量的减少会使得您的下游基础设施的优势不断加强，从而减少复制所需的带宽以及 DR 站点上所需的

DDX系列通过采用 Data Domain最新的DD560控制器，可提供高达每小时6.4TB的持续吞吐量和15PB的长期存储空间，除了超高速和超大容量以外，DDX系列打破了传统的磁盘备份的造价模式。

备份到磁带是当前最为广泛应用的数据保护解决方案，但是由于磁带备份给企业带来的问题多多，以至于企业越来越期待自己日益增加的备份负荷有一天可以用磁盘来替代完成

备份设备中总是充斥着大量的冗余数据。为了解决这个问题，节省更多空间，“重复删除”技术便顺理成章地成了人们关注的焦点。采用“重复删除”技术可以将存储的数据缩减为原来的1/20，从而让出更多的备份空间，不仅可以使磁盘上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的带宽。

尽管今天单位存储空间的成本不断走低，但企业需要存储或者备份的数据量仍然在持续上涨，导致了企业在磁盘存储空间方面无止境的成本投入。是否能有一种技术或者解决方案能够10倍甚至20的缩减企业数据量，让磁盘备份在容量空间方面的成本能够被更多的企业承受呢？重复数据删除正是近期的一项热门技术，由于可以大幅压缩和删减用户需要备份的数据量

重复数据删除解决方案还可以帮助企业完成从磁带到磁盘的数据迁移。由于重复数据删除压缩了企业存储或者备份对磁盘空间的容量需求，因此让磁盘作为近线存储或者备份的介质，不再昂贵和遥不可及，日益广泛而普遍的出现在整体备份架构中。

2008年，在美国佛罗里达州奥兰多的网络存储大会上(Storage Networking World)，IBM的存储部门总经理Andy Monshaw做了名为“下一代信息架构”的主题演讲。在演讲之中，他富有激情的谈到了未来的存储技术，包括重复数据删除、自动精简配置、固态硬盘还有MAID。

IBM收购了Diligent以后，ExaGrid意识到：它和Data Domain以及飞康（FalconStor）是目前保留下来的为数不多的独立重复数据删除技术供应商。ExaGrid得到了2007年最大规模的风险投资，现在它的期望值很高。

Data De-duplication，目前惯用的中文译法即重复数据删除，更为准确的表达是去除数据副本。在Gartner中国存储分析师张瑾看来，这个词并不是英文原意，但从技术角度比较真实地复原了需要表达的内涵。

ExaGrid目前的处境让人羡慕也让人惊慌：在IBM收购Diligent之后，ExaGrid成了为数不多目前仍然独立的重复数据删除技术厂商，Data Domain和FalconStor也面临同样的处境。有了2007年最大的风险投资在手，该公司的前景预期一片乐观。

Sepaton发布了最新的高端虚拟磁带库(VTL)，该公司声称新推出的产品在容量和性能方面皆领先于竞争对手。

50年以来，备份操作意味着把部分或全部数据复制到磁带机，以备将来恢复使用。数据大量复制到磁带，是因为磁带存储的成本低于保存原始数据的磁盘成本。

TechTarget的《存储》杂志五月份对用户进行了一次调查——你没有采用重复数据删除是否有什么原因？