重复数据删除

由于存储经理们急需降低备份数据量，重复数据删除(data de-duplicantion)技术从而成为近来十分热门的技术。但是大家对于重复数据删除的基本概念却知之甚少，经常把重复数据删除、压缩算法技术和单一实例存储混为一谈。尤其是重复数据删除与单一实例存储，本身在表现形式和功能上有较多的相似之处，在概念上更加容易混淆，本文将深入分析二者的异

重复数据删除的客户价值是多方面的，但是最显著的优点是解决了一直困扰备份恢复业界多年的“容量膨胀”问题，因为重复数据删除可以在后端大为减少备份数据量。

单一实例存储的英文全称是Single Instance Storage (SIS)，单一实例存储被启用后，就会作为一个后台的服务运行，把内容重复的文件合并到一个共用的存储空间。重复的文件被该文件的链接（指针）替代，对于用户和应用程序来讲就像原始文件一样。

单纯从技术角度来看，单一实例存储与重复数据删除并无优劣之分，只不过适用的范围不同罢了，重复数据删除由于从物理层解析冗余重复的数据块，所以对于重复性较高的数据库和文件系统的备份任务，其压缩比相应较高。但是对于重复性较低的操作，如作为文件服务器、邮件服务器或者内容服务器的数据存储，以及对于压缩文件格式的数据处理，如：影像格

NetApp 的提升数据中心效率的技术将让您立即并持续获益。您可以降低裸存储开支，享受相应的节省电力、冷却、数据中心空间的好处，同时还可以降低数据中心的碳排放。另外，还可能带来的最大好处在于，您可以避免因着手建立新数据中心而产生的巨大费用和人力投入。

重复数据删除技术事实上并非一项多么新颖的技术。早在一年前，便随着Microsoft的介入，使得业界与用户对这项技术份外看好。而在那之前，赛门铁克与ADIC（已被昆腾公司收购）等存储厂商也已开始在其虚拟磁带库、磁盘设备以及网关中提供数据重复删除功能，并把这个领域作为未来的一个重点技术加以投资。

重复数据删除可以通过两种方式实现：既可以通过把软件产品安装在专用的服务器上实现，也可以将其集成到备份/存档软件中。基于软件的重复数据删除的部署成本要明显低于专用硬件，例如Data Domain公司的DDX系列产品，而不需要对物理网络进行重大的改变。

在部署重复数据删除系统时，考虑其可伸缩性和可靠性很重要。随着存储容量和重复数据删除粒度性的增加，系统性能需要保持在可接受性的水准之上。如果由于重复删除算法错误而产生数据损失，重复数据删除应能够不受影响。

本文将介绍压缩、重复数据删除和加密的区别，这三个概念在日常存储中重要性日渐突出。

随着企业的数据量不断增长，大量的重复数据给存储带来严峻的挑战。举例来说：现在有一个大小为10M的PPT文件，要把它拷贝给100个用户，这就需要Exchange服务器有1GB的可用存储空间。当每周都要备份1GB的重复存储时，问题就会变得更加糟糕。一年后，浪费的1GB空间最终会导致需要52GB的磁带备份或其他方式的备份存储。近来新兴的重复数据删除正是为

重复数据删除，也被称为智能数据压缩或单一实例存储。它是一种可以减小数据存储需求的手段。重复数据删除的处理过程是通过删除冗余数据，确保实际上只有第一个单一实例数据被存储。而被删除的重复数据将由一个指向元数据的的指针所代替。

本文将深入探讨CAS和重复数据删除，讨论它们的用途并总结这两种技术的优缺点。

本文比较和对照了in-band(带内)和out-of-band(带外)两种重复数据删除方式，以及它们各自存在的利弊。

本文比较和对照了in-band(带内)和out-of-band(带外)两种重复数据删除方式，以及它们各自存在的利弊。

本文将介绍重复数据删除技术的基本原则和具体实现等相关问题，并列举一些重复数据删除技术在实际应用中的例子。数据如潮水般涌向企业。存储管理员不断努力地处理日益激增的数据，比如，文本、声频、视频、图像，还有不断增加的大容量邮件附件。存储这些数据并不是最佳的解决方案——存储需要投入成本，大量的文件最终将会加重企业数据备份以及灾

基于硬件的重复数据删除产品能够减轻与基于软件的重复数据删除产品相关的处理负担。重复数据删除的特性也可以嵌入到其他的数据保护硬件中，例如备份平台，虚拟磁带库(VTL)系统，甚至是诸如网络附加存储(NAS)的一般目的的存储系统。这种方法一般并不侧重于缩短备份窗口或恢复目标的时间，但用户通常可以达到更高的压缩水平，使可用存储空间尽量最

你会学到以下知识：采用重复数据删除技术部署灾难恢复时，需要考虑四大策略，本文对此做了简要概述。

在Clipper Group2006年8月发布的"备份技术的发展（The Evolution of Backups）"分析白皮书中，分析师针对提升容量效益部分做出了这样的报告："重复数据删除技术是备份技术的下一个发展步骤。"在二级存储归档时删除重复数据可以大幅削减存储介质的成本、进一步流畅管理任务，同时最小化复制数据时的带宽需求。

重复数据删除技术对速度影响现在才逐步显现出来，正如我们在谈到存储备份工作的优先次序时告诉用户的那样，一个令人惊讶趋势将持续下去：缩短备份窗口在磁盘到磁盘的备份解决方案上的重要性正在衰减，变得不再是其中最优先考虑的问题，这是为什么？

随着光纤通道在企业级存储网络中掀起浪潮，并成为企业级存储网络的基础，存储领域的网络概念也在扩展。SAN这个术语(存储局域网)是来自LAN(局域网)。这个概念的意思是用一个类似于以太网或令牌环网(Token Ring)这样的连接机制用来分享存储在多个主机上的数据。