重复数据删除

这是我们探讨重复数据删除技术和重复数据删除解决方案执行策略“四部曲”的第二篇：

这是生存指南4部分内容中的第一部分，在这一部分，我们将要介绍重复数据删除解决方案中部署的技术和实施策略

由于存储的扩展，在企业中对存储系统进行管理是一项重大的挑战。存储管理的关键是对容量的规划----了解有多少存储可用，知道存储的具体位置，以及为用户和应用分配存储资源。

本文比较和对照了in-band(带内)和out-of-band(带外)两种重复数据删除方式，以及它们各自存在的利弊。

本文将介绍重复数据删除技术的基本原则和具体实现等相关问题，并列举一些重复数据删除技术在实际应用中的例子。数据如潮水般涌向企业。存储管理员不断努力地处理日益激增的数据，比如，文本、声频、视频、图像，还有不断增加的大容量邮件附件。存储这些数据并不是最佳的解决方案——存储需要投入成本，大量的文件最终将会加重企业数据备份以及灾难恢复系统(DR)的负担。企业与其寻求更多的存储数据的不同方式，还不如转向数据删除技术，以存储更少的数据。近来新兴的重复数据删除（Data De-duplication）就是数据删减方案的重要一环。

基于硬件的重复数据删除产品能够减轻与基于软件的重复数据删除产品相关的处理负担。重复数据删除的特性也可以嵌入到其他的数据保护硬件中，例如备份平台，虚拟磁带库(VTL)系统，甚至是诸如网络附加存储(NAS)的一般目的的存储系统。这种方法一般并不侧重于缩短备份窗口或恢复目标的时间，但用户通常可以达到更高的压缩水平，使可用存储空间尽量最大化。

本文将深入探讨CAS和重复数据删除，讨论它们的用途并总结这两种技术的优缺点。

存储经理们就已经意识到了重复数据删除技术的诸多优点。

重复数据删除，也被称为智能数据压缩或单一实例存储。它是一种可以减小数据存储需求的手段。重复数据删除的处理过程是通过删除冗余数据，确保实际上只有第一个单一实例数据被存储。而被删除的重复数据将由一个指向元数据的的指针所代替。

在部署重复数据删除系统时，考虑其可伸缩性和可靠性很重要。随着存储容量和重复数据删除粒度性的增加，系统性能需要保持在可接受性的水准之上。如果由于重复删除算法错误而产生数据损失，重复数据删除应能够不受影响。

本文将介绍压缩、重复数据删除和加密的区别，这三个概念在日常存储中重要性日渐突出。

随着企业的数据量不断增长，大量的重复数据给存储带来严峻的挑战。举例来说：现在有一个大小为10M的PPT文件，要把它拷贝给100个用户，这就需要Exchange服务器有1GB的可用存储空间。当每周都要备份1GB的重复存储时，问题就会变得更加糟糕。一年后，浪费的1GB空间最终会导致需要52GB的磁带备份或其他方式的备份存储。近来新兴的重复数据删除正是为解决数据冗余问题应运而生的，它只将重复的文件、块或位存储到实际的存储介质中。

Hifn公司推出了一套扩展卡DR 250，据该公司称可以协助VTL和重复数据删除厂商显著提高其设备的速度。

重复数据删除可以通过两种方式实现：既可以通过把软件产品安装在专用的服务器上实现，也可以将其集成到备份/存档软件中。基于软件的重复数据删除的部署成本要明显低于专用硬件，例如Data Domain公司的DDX系列产品，而不需要对物理网络进行重大的改变。

尽管Sun在三年前以41亿美元收购StorageTek的行动一直面临着问题，Fowler仍然表示结合的工作“进展得不错”，最近发布的存档公告也证实了这种说法。这表明，Sun缩短了同存储领域其他竞争对手，如EMC，HP，IBM以及NetApp之间的差距。

目前，Data Domain公司正试图将"重复数据删除"技术推广到远程办公领域，为此，今天他们推出了DD120设备，而其竞争对手Diligent公司现在正计划着在今年晚些时候也在这个领域推出自己的产品

尽管今天单位存储空间的成本不断走低，但企业需要存储或者备份的数据量仍然在持续上涨，导致了企业在磁盘存储空间方面无止境的成本投入。是否能有一种技术或者解决方案能够10倍甚至20的缩减企业数据量，让磁盘备份在容量空间方面的成本能够被更多的企业承受呢？重复数据删除正是近期的一项热门技术，由于可以大幅压缩和删减用户需要备份的数据量，因此让用户和厂商都对此青睐有加。

实际上我们也看到了前事处理和后事处理对备份性能都有影响，这两个技术各有好处和坏处，网友比较关心重复数据删除使用的安全性问题，还有就是它的压缩比率可以达到多少？从您的角度来看，您觉得用户如果应用重复数据删除应该怎么样评估这个应用效果呢？

很多网友对性能很有顾虑，现在重复数据删除已经解决了这些问题，有一个网友的问题是比较具体的问题，那么作为一个DBA他比较关心重复数据删除和数据库之间的接口是如何完成的？

数据量正在迅速增加，企业用户不仅产生更多的原始数据，而且政府管理机构还要求他们在数据生命周期中多次备份和保留这些数据。如果每周的完整备份数据的保留期是1年，每天的递增备份数据的保留期是10天，那么，1TB数据在其整个生命周期中需要53TB的存储容量来提供数据保护。备份、管理和保存这些数据将大大增加劳动力成本。