企业节能技术之重复数据删除技术

申请免费试用、咨询电话：400-8352-114

对于整个数据中心而言，需要我们关注的不仅仅涉及到服务器层面的节能问题，存储中心也同样涉及到节能、环保、降低存储成本以及实现绿色存储的举措。而本期我们将给大家介绍的重复数据删除技术能够有效的减少数据存储容量，从而实现数据中心节能，降低散热需，实现“绿色”意义。

由于磁盘技术近年来的快速发展，一些企业和用户越来越倾向于采用磁盘进行备份或者归档，由此带来的能耗问题也是突出的。传统的备份策略往往会在用户的磁盘空间里面产生大量的冗余数据，由此消耗了大量不必要的磁盘空间，带来一系列的能耗和冷却的问题。有什么办法能够消除掉这些多余的数据，从而避免不必要的能源消耗呢？

重复数据删除的节能意义

重复数据删除最大的优势在于节约用户数据存储所需要的存储空间，因而能够节约数据存储所需要的能源损耗。基于磁盘的备份归档方案与传统磁带库相比在性能、稳定性方面都有很多优势，但是一个突出的不足之处就是，磁盘介质是在线存储，需要一定的能耗，而磁带则是离线存储，本身不需要耗能。

您的IT系统电费支出是不是越来越大？您是否在为如何降低功耗、节约能源煞费苦心？近期，我们将推出“企业IT节能系列文章”专题策划，我们将从芯片、组件、系统、软件乃至数据中心等多个层面、多个角度出发，整理出一系列实用的IT节能妙招，相信总有一招适合你！我们今天先来讲一下存储中炙手可热的技术，重复数据删除。

重复数据删除

对于整个数据中心而言，需要我们关注的不仅仅涉及到服务器层面的节能问题，存储中心也同样涉及到节能、环保、降低存储成本以及实现绿色存储的举措。而本期我们将给大家介绍的重复数据删除技术能够有效的减少数据存储容量，从而实现数据中心节能，降低散热需，实现“绿色”意义。

由于磁盘技术近年来的快速发展，一些企业和用户越来越倾向于采用磁盘进行备份或者归档，由此带来的能耗问题也是突出的。传统的备份策略往往会在用户的磁盘空间里面产生大量的冗余数据，由此消耗了大量不必要的磁盘空间，带来一系列的能耗和冷却的问题。有什么办法能够消除掉这些多余的数据，从而避免不必要的能源消耗呢？

重复数据删除的节能意义

重复数据删除最大的优势在于节约用户数据存储所需要的存储空间，因而能够节约数据存储所需要的能源损耗。基于磁盘的备份归档方案与传统磁带库相比在性能、稳定性方面都有很多优势，但是一个突出的不足之处就是，磁盘介质是在线存储，需要一定的能耗，而磁带则是离线存储，本身不需要耗能。

重复数据删除能够大大减少数据存储与备份所需要的空间，因而减少存储与备份的能耗。大家知道厂商宣称的重复数据删除比根据不同的数据能够达到1:30或者1:20，无论对存储空间的节约方面和能耗节省方面都是有着突出意义的。

一般人往往容易混淆重复数据删除与数据压缩的概念，二者看起来的确有一些相似之处。但实际上，数据压缩技术通过对数据重新编码来降低其冗余度 (redundancy)；而重复数据删除技术则着眼于删除重复出现的数据块。前者属于文件级别，后者根据不同厂商的技术特点，既可以是文件级别的，也可以是数据块级别的。

应用重复数据删除需要注意什么

重复数据删除的产品最早在2005年推出，到了2006年底和2007年初几乎所有的备份系统上都开始广泛引用，现在已经成为备份产品的必备选项之一。那么用户在选择重复数据删除的产品时需要注意哪些因素呢？

一些业内专家提出了如下几条原则：

1. 重复数据删除技术在具体的备份应用中，不应该对备份性能有任何影响。由于重复数据删除不同的实现模式，一些重复数据删除的实现方式本身需要耗用大量的 CPU资源，在整个备份进程中增加大量的处理进程，这样尽管用户获得了一定比率的重复删除比率，但在客观上降低了备份性能。实际上，采用基于磁盘的备份方案相比磁带库的突出优势就体现在降低备份窗口获得高性能备份与恢复，而如果采用的重复数据删除技术不合理，则有可能因为获得数据压缩比率而损失掉一定的备份性能。

2. 高端一些的用户需要注意，当采用重复数据删除等等一些VTL增值技术之后，还需要考虑与未来技术发展方向的兼容问题。例如，我们需要用VTL技术来建立一个灾备体系，需要使用异地复制技术，那么如果我们前期在使用重复数据删除技术的时候没有考虑未来需求的变化，则会制约系统的发展。

3. 此外还有面向磁带库的出库技术，尽管在数据量小的时候我们可以不考虑采用磁带作为离线介质，但是用户的数据量始终在增长，未来如果有这样的需求，则需要在构建系统的开始考虑到未来需求的发展。

总结一下，以上的观点，对于备份性能的影响是第一位的，也就是说在使用重复数据删除技术获得压缩比的同时不能以牺牲备份性能为代价，其次，用户在使用重复数据删除的同时必须考虑未来技术发展方向的问题，必须与未来的需求以及发展相兼容。（CBISMB）