重复数据删除的硬件软件

重复数据删除的硬件软件,第1张

各大厂商除了采用的方法不同外,他们物理架构的备份目标也不同。Data Domain、ExaGrid 和昆腾是包含磁盘阵列的monolithic appliances(单块集成电路设备)。 Data Domain和昆腾有NAS或VTL接口,而ExaGrid就是一个NAS设备。Diligent和FalconStor销售的是软件产品,运行在Intel 或 Opteron服务器上。
尽管带有VTL接口的备份设备看起来更高级并且更易于与现存的基于磁带的备份环境集成,但是采用NAS 接口,会为您的备份应用提供更多的控制。当备份文件过了保存期时,一些像赛门铁克的NetBackup之类的备份产品能够从它们的磁盘存储库中删除这些过了保存期的备份文件。当重复删除的NAS设备发现这个删除行为时,它可以重新分配它的自由空间和散列(hash)索引。而对于VTL接口的设备来说,因为您没有删除磁带,所以无法在VTL上释放出空间,直到虚拟磁带被复写,空间才能得以释放。
当然,在1TB的空间内容纳25TB的数据是要付出一些代价的,不只是在金钱方面。将数据切成块并进行索引来消除重复数据的所有工作会使备份速度减慢。Overland REO 9000 等中级VTL的数据备份速度是300 MBps甚至更快些。Diligent在其ProtecTier上已经具有200-MBps的备份速度,但是需要一个四核Opteron服务器来实现,该服务器前端是装有100多个磁盘驱动器的阵列。
其它厂商解决该问题的办法是把重复数据删除当做一个独立的过程在备份后运行。在一个系统上运行FalconStor的 VTL 软件,进行备份的数据被写到一个压缩的虚拟磁带文件而不是一个删除重复的虚拟磁带文件上。然后在后台将数据流切成块,消除重复数据并且创建虚拟磁带,该虚拟磁带是执行删除重复数据块在原虚拟磁带上的索引。一旦虚拟磁带的数据执行了删除重复处理,它所占有的空间就返回到可用的空间池。Sepaton的DeltaStor和 ExaGrid也把它们的重复删除当成一个后备份过程来执行。
尽管后处理能够提高备份速度,但同样也要消耗成本。执行后处理重复删除的系统必须有足够的磁盘空间,因为除了删除重复的数据外,它还需要保存全部标准的备份。如果您希望继续执行每周的全天增量备份的计划,那么一个在后台进行重复删除处理的系统上,你可能需要双倍多的磁盘空间来保存全部的备份直到处理完成为止。
正因为重复删除在后台运行,所以千万不要忽视重复删除的性能。例如,如果到星期一的晚上您开始再次备份您的服务器时,您的VTL还没有完成对周末备份的处理,这时您会遇到您不想看到的情况,如磁盘空间不可用或重复删除处理使您的备份速度变慢等。

是一种运行在数据存储服务设备上的后处理去重。它对普通文件或者数据块进行分区,使用HASH方法进行识别,并使用inode级别的文件系统 *** 作指向合并后数据块。
WAFL的文件处理方法:

数据去重的最佳体验:
备份服务器发送数据,HyperFactor过滤重复块,磁盘阵列存储新块至仓库
VTL概念:

OST概念:
ProtecTIER can be accessed as a Virtual Tap Library(VTL), like a gateway or disk-based appliance I offers global deduplication across domain or backup servers, applications and disks Tivoli Storage Manager works effectively with ProtecTIER and exploit ProtecTIER's efficient network replication capability

Tivoli Storage Manager Version 6 provides storage pool deduplication, which can reduction of backup and archive data

N series storage systems offer native, block-level, file-level, application-level, OS-level, protocol-agnostic postprocess data deduplication
Chunking refers to breaking data into standardized units that can be examined for duplicates 

分区处理的两种主流方式:

数据分区块方法,分区方法不同会影响去重的效率:

Processing识别处理:

Each chunk of data must be identified in a way that is easily comparable

识别处理方法

Consolidation合并重组:

After duplicate chunks have been compared and identified, the pointers to those chunks must

be changed so they point to a single unique copy rather than multiple duplicate chunks
去重发生情况:

为了更好地让用户了解厂商在节能产品和技术上所做的创新,我们按服务器、交换机、存储三大类分别进行阐述。 服务器 惠普
惠普的BladeSystem C-Class刀片服务器系统使用了能量智控这一关键技术以实现节能降耗,通过内置的仪器对刀片机箱内的能耗和散热情况进行精确地监控,并对电源和散热的分配进行调节。
HP Integrity服务器的虚拟化和整合技术可以大幅节省电源和散热成本,并且还提供了新的电源管理技术,如面向ProLiant产品的电流调节器,可以在不影响性能的前提下应对能耗挑战。
此外,惠普的动态智能散热技术能够让数据中心的成本降低20%~45%,并将二氧化碳的年排放量减少18000吨;模块化散热系统可以将一个机架的标准散热能力提升到原来的3倍,也就是30千瓦;借助惠普电流限定技术,用户还可以将服务器密度提高40%。

戴尔
戴尔的PowerEdge M1000e是一款高度模块化的刀片服务器,该产品采用了FlexIO技术,拥有比其上一代刀片服务器更多的I/O插槽,可对I/O架构进行灵活高效的升级和扩展。因此,用户只需要添加级联或堆叠模块,即可完成对刀片服务器I/O能力的扩展。可以说,这种模块化的设计简化了用户升级和优化系统的难度,同时也让企业能灵活地应对业务上的各种变化,这对于企业来说就是一种资源的节约。
此外,戴尔的刀片服务器还采用了智能节能(Energy Smart)技术,并在高能效机柜、低能耗风扇和动态电源管理等方面都做了节能设计。以动态电源管理技术为例,该技术可以让用户自行设置电源功率的阀值,让刀片服务器在用户自己认可的功率范围内工作,从而避免能源的不必要消耗。

联想
联想万全R525是一款能够诠释节能环保理念的服务器,其支持联想自有的LECOT能耗优化技术,产品采用高转换效率的部件,以帮助服务器节省在电源转换中消耗的电能;支持动态的按需供电技术,可以节省服务器空闲状态下不必要的电能消耗,“1+1”热插拔冗余电源模块提供的高转换效率能有效地降低系统功耗;通过侦测关键部件的工作状况,实时地调节系统功耗和散热量,以节省不必要的功率消耗,减少用户在电能方面的投入,并大幅降低用户运营成本。
此外,万全R525配备有机柜规划工具,该工具以机柜为单位精确地计算输入功率、散热量峰值及重量,能帮助用户进行机柜供电、散热及承重规划,以降低整体机房固定资产拥有成本。

富士通
富士通的绿色刀片服务器FUJITSU PRIMERGY BX620S4采用了多方位的环保设计理念,该产品具有负载均衡、高可用性和高度的横向可扩展性,这些无疑都提高了服务器的集成效率和使用效率,同时也大幅度降低了环境负荷。
此外,FUJITSU Systemwalker RCVE虚拟化管理软件有效地减少了刀片服务器的系统管理工作量,降低了系统的总拥有成本。Systemwalker RCVE管理软件只需要简单的步骤即可将刀片服务器连接到现有的SAN环境中,这就简化了SAN环境中服务器的管理难度,并降低了因人为错误造成的损失。与此同时,通过VMware HA及一台共用的备用服务器,物理服务器和虚拟服务器可以自动恢复,这就让虚拟化技术的节能优势得到了更好的发挥。

浪潮
浪潮英信NF290D2是一款低功耗、稳定可靠、高性价比的2U双路全能服务器,散热系统、模块化及热插拔的冗余设计使其在有限的空间内实现了可靠性、可扩展性和高性能。
事实上,浪潮在服务器领域的绿色节能方面的设计主要包括以下三个方面:第一,在物理服务器上进行的设计,比如整个机箱风道的设计尽量利用物理或流体力学的方法,用尽量少的风扇和功耗达到同样的散热目的,并进一步地降低能耗;第二,采用高效的电源处理和电源管理,比如晚上12点服务器基本不工作,这时系统会自动降低电源消耗,如果白天是1000瓦,那么夜间则降到600瓦、500瓦或者更低;第三是管理,浪潮专门推出了一套基于业务的功率管理系统,其能够实时地反映出业务情况的负载,并且反映出服务器的负载,还可以调整服务器业务的部署,甚至服务器的功耗情况。

交换机

惠普
HP ProCurve Switch 8212zl是惠普“绿色”交换机的代表,其是一款具备高性能和高可用的机箱式交换机平台,支持统一的核心到边缘适应性网络解决方案;其平台与软件高可用性的特性,可以确保系统持续运行并提高网络生产效率。
在降低能耗方面,HP ProCurve使用了各种节能技术,如LLDP-MED可变风扇等;尽可能采用基于机箱的交换机;在不工作的时候关闭PoE;根据实际应用选择电源和UPS。
此外,HP ProCurve系列几乎所有产品都提供终身保修、软件升级、技术支持和第二工作日替换等免费服务,这些对于减少碳排放和节约成本起到了至关重要的作用,因为产品的使用寿命会因终身保修而延长,用户就不用频繁地更换设备,也不用再处理老设备带来的电子废料。
迈普
为了实现交换机的绿色节能,迈普应用了多种技术优化产品设计。首先,通过采用高性能的交错式PFC控制技术提高交换机电源模块的电源转换效率,这将传统的电源转换效率从70%~80%提高到了85%。
其次,全面应用了以太板卡的以太端口休眠功能,对于不用的端口或者没有数据传输的端口大幅降低了接口芯片的功耗,对于GE电口的8根网线全部传输数据时的高功耗也实现了有效的降低,当使用闲置端口休眠或不使用时,能够降低40%左右的功耗。同时,采用高密度的业务板卡降低功耗,通过提高板卡的密度来降低单端口的功耗。
此外,大容量的主机、灵活的业务板卡升级功能设计延长了设备的使用寿命;优化的整机结构设计,加强了整机的散热性能,竖插槽的设计则利用了自然散热的原理大幅降低了散热设备的功耗。

极进
极进网络的BlackDiamond 8810是一款标准的万兆核心交换机,作为服务网络骨干或数据中心的核心交换机,其工作时间一般都是7×24小时,因此低能耗设计带来的电力节省就相当可观了。该设备可以安装最多6个电源模块,每个电源模块功率为1200W,用户可以根据需求灵活配置电源模块数量,且所有的板卡均采用低能耗设计。
此外,BlackDiamond 8810采用了高可靠的模块化交换机 *** 作系统ExtremeXOS,同时也集成了一些节电环保特性,如支持PoE(以太网供电)接口模块,这样就可以自动地按时间计划激活系统;休眠端口功能,例如下班时间PoE网络端口可以按计划自动休眠,停止为无线网AP或IP电话供电,上班时间再激活端口,从而进一步节省电力消耗。

存储

UIT
UIT绿色存储的核心是设计运行温度更低的处理器和更有效率的系统,生产更低能耗的存储系统或组件,降低产品所产生的二氧化碳,而其所应用的主要技术是MAID(Massive Arrays of Idle Disks,大规模非活动磁盘阵列存储)――在正常状态下所有的磁带都放置在磁带库的槽位中,需要某盘磁带时才将它放在磁带机中,然后进行数据读写。而在大部分时间,大多数磁带是处在非工作状态的。
UIT BM3800B是UIT推出的一款具有MAID绿色存储功能的光纤通道存储设备,其在绿色节能方面具有以下几个重要的功能和特点:磁盘或磁盘RAID组可以在没有读写访问时依据策略下电;下电磁盘自动按照策略进行故障检查;磁盘在下电以后,一旦有读写请求,磁盘自动上电,RAID组可重新提供正常访问;降低能耗,电能节约可达到30%;减少环境和管理成本;更长的磁盘使用寿命。

日立
日立认为,存储基础架构对能源的消耗是与磁盘数直接挂钩的,而非储存的数据量,所以容量的密度越大就意味着能耗效率越高,因此利用虚拟化来部署分层存储和实施通用管理架构能够大大提高资源的利用率。
日立的USP产品不仅配有基于控制器的虚拟化引擎,还可以将控制器与存储介质相分离,允许企业将其直连式存储系统、网络附加式存储系统和存储区域网络都整合到一个存储平台中,使用户可以在短短几秒钟内将存储空间分配(或解除分配)给某个应用。
此外,日立还基于USP V平台在企业级虚拟层实现了Thin Provisioning(动态精细化预配置)功能:USP V与Hitachi Dynamic Provisioning(动态与配置)软件的结合使用户能够在一个整合的解决方案中同时获得外部存储虚拟化的好处以及由Thin Provisioning带来的电力和冷却成本方面的优势。

飞康
飞康在两年前就与COPAN合作,将MAID(大规模非活动磁盘阵列)技术导入了VTL,这就节省了设备闲置时所消耗的电能;其新一代VTL具备重复数据删除技术,可以帮助用户节省大量备份所需的磁盘空间;IPStor具备的存储资源按需分配(Thin Provisioning)功能,更将存储资源的利用率从低于30%提高到80%以上,使用户现有的存储投资能得以继续利用。
此外,飞康VTL企业版可以扩展远程复制功能,用户可以利用WAN广域网络将备份数据复制到远程,并实现异地灾备。在执行远程复制时,本地和远程的VTL会自动比对单一存储区内有没有相同数据,只有不重复的数据才会被复制并传输到远程,这可以减少95%的网络带宽使用率。

SEPATON
SEPATON实现“绿色”存储的关键技术手段主要是重复数据删除、自动精简配置及数据压缩等,其中重复数据删除和自动精简配置最能大幅度削减能源消耗。SEPATON的DeltaStor软件利用其“内容已知(ContentAware)”架构,以字节为单位进行全面的数据比较,以确保数据的完整性,并且在主要数据传输路径之外执行重复数据删除,使其性能不受影响。Deltastor软件能提供多节点可扩展性,并可以处理PB级数据。
据悉,利用DeltaStor技术后,存储数据占用的空间相比以前为1∶50,这样就节约了高达62%的数据中心空间,以及85%的能源和散热成本。同时,采用ContentAware架构,SEPATON为日后扩大容量、提高性能打下了基础,在面临数据中心需求不断变化的情况下,可以有效地保护用户已有的投资,避免造成浪费。

昆腾
据悉,Quantum DXi系列磁盘备份系统能够在整个企业中扩大重复数据删除技术的优势,重复数据删除技术可以使磁盘需求降低90%甚至更多。借助该技术还能够实现快速备份和还原,并减少了对介质的使用,对电源和冷却的要求也更低,整体数据保护和保留成本还相应降低。
Quantum DXi7500是一款高可用性企业磁盘备份系统,可以作为磁盘备份系统运行,在这种情况下,利用传统的虚拟磁带库接口就能提供更高的吞吐量,同时也可以作为启用了重复数据删除功能的磁盘备份和远程复制系统。
此外,DXi7500还拥有直接磁带创建功能,让用户能够将存储在磁盘上的备份数据自动迁移到磁带上以进行更长期的保留,而这一 *** 作是在后台进行的,因此对用户的介质服务器或备份SAN没有任何影响。

华赛
华赛将绿色环保的每一个细节都落实到了OceanStor磁盘阵列的产品设计中。
此外,华赛还正在开发虚拟化磁盘阵列产品,并即将推出具有数据压缩功能的磁盘阵列,其针对备份数据保存,具有很高的压缩能力,可实现20倍以上的数据压缩,这无疑将节约存储磁盘,从而有效减少存储设备在数据中心的空间占用和用电损耗。
OceanStor磁盘阵列的节能设计主要包括:直流供电选件;采用智能化磁盘加电技术,可以有效地避免设备加电时给网络系统带来的电流冲击,确保设备平稳加电启动,同时,智能化磁盘加电减少了设备加电时的电热损耗,对数据中心的节能非常有好处;智能风扇系统设计,结合OceanStor磁盘框的合理布局,确保风扇转速合理,有效地提高了冷风的利用率,从而达到了降低系统功耗、降低系统噪音、减少灰尘进入、提高系统可靠性的目的。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zz/13466987.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-08-12
下一篇 2023-08-12

发表评论

登录后才能评论

评论列表(0条)

保存