EMC avamar备份系统中如何上传SUB?

EMC avamar备份系统中如何上传SUB?,第1张

要上传SUB,请在Data Domain系统的命令行中输入下面的命令:
support upload bundle注:DDR使用>关键特性
并发用户数 支持75个并发用户数
外形尺寸 塔式,4个35英寸热插拔硬盘槽位
处理器及缓存 Intel Atom双核D2701 213GHz处理器,2GB DDR3
主机端口 2个千兆以太网端口(RJ45);
1个USB 30;
4个USB 20;
1个eSATA;
1个HDMI视频端口;
存储容量 可支持4颗35英寸SATA硬盘;
支持4TB SATA硬盘;
系统容量可支持16TB;
RAID级别 支持RAID0、1、10、5或JBOD等多种级别;
支持热备盘;
SSD加速 将热点数据自动迁移至SSD,提升读写性能
备份
Cloud技术支持 EMC Atmos Cloud Connector、MozyPro Online Backup、Amazon S3
设备间数据复制 支持设备间数据复制,支持块和文件(rsync/CIFS)
备份与恢复 内置Acronis ATI备份工具;
支持PC的自动备份与恢复;
Snapshot快照 对存储卷进行特定时间点的快速复制;
与VSS卷影拷贝配合将数据备份到存储卷;
EMC Avamar客户端 内置EMC Avamar 6x客户端;
支持重复数据删除,减少需备份的数据,缩短备份窗口;
文件共享及媒体
客户端支持 PC、Mac、Linux
LenovoEMC个人云 支持
用户配额Quota 支持
Windows域控 支持
媒体服务 内置支持DLNA/UPnP的Twonky Media Server v7;
支持视频流同步播放、Airpaly功能;

Avamar的容量有两个概念,一个是gsan层面的容量,一个是系统层面的容量。>EMC从信息生命周期(ILM )的角度来整合并管理数据,提出了一套完整的节能服务策略和实施方法,在全球众多相关项目中广为使用并得到验证,协助客户达到节能降耗效果。 某大型数据中心(以下简称客户)向 EMC公司提出改善现有IT能效问题的需求,希望能达到下一代的数据中心的节能降耗目标。EMC公司通过仔细了解用户需求,帮助客户制定了存储节能策略,提出调整存储基础架构的建议。
实际上,EMC在节能服务方面有着一套完整的策略和实施方法,它是多年来 EMC通过对实施 ILM(信息生命周期管理)服务,以及专注于发展信息基础架构所积累的经验进行提炼开发而成的。该实施方法在全球众多相关项目中广为使用并得到验证。这一方法包括评估(Assess)、规划(Plan)、设计(Design)和建立(Build)四个阶段的咨询和技术服务。

评估: 解决问题前先了解问题

1了解数据增长及容量需求
现有数据的多寡以及磁盘容量的持续需求是直接影响能耗的关键因素。EMC File System Assessment (FSA)服务正是一项能够解决上述问题的专业服务方案,通过 FSA 客户可以清楚了解现有数据的容量、使用率、增长率、静态数据量、重复数据量等重要信息。
2 测量现在及预估未来能耗
测量能耗现状是评估过程中的一个基本工作。因为规划中的未来能耗节省能否有显著的投资回报率(ROI),这个基本值是关键的衡量数据。当然,为求更精确的测量还必须考虑下列影响因素: 冗余电力需求、用电量安全系数、设备规格、工作负荷、工作循环周期以及蓄电池充电的状态等; 另外,对能耗设备的淘汰升级也很重要。
3 能耗与摩尔定律
摩尔定律认为,计算机的性能大约每18个月会提升一倍。换言之,更高的性能代表更热的组件、更高密度的封装与单位面积的更多耗电需求。如今,IT很容易陷入更多应用系统、数据、服务器、存储以及更多能耗的“恶性循环”当中。因此,在制定新一代机房的节能策略上,应当考虑这个重要因素,才能在符合低能耗的同时,保持稳定的营运服务水平。
4 掌握各类磁盘用电需求
虽然低能耗往往意味着低性能,但根据 EMC 的经验,IT的信息中平均有高达70% 的数据属于静态数据,这些数据正是使用低能耗磁盘的理想对象。EMC 在设计新一代存储设备时充分了解这一点,全系列高、中、低存储设备均支持从最高性能的73GB、15Krpm到最节能的750GB、72Krpm的各类磁盘。

规划: 提出能效策略及建议

方向1 : 服务器虚拟化

即通过服务器整合的方法达到能效优化的目标。EMC的VMware可将服务器虚拟化整合比达到10:1,有些时候甚至可以达到 20:1。经由大量的服务器虚拟化,EMC可将每一台实体服务器的使用率提升到80%,这不但提高了资产使用率,也大幅改善了能效问题。
方向2: 存储分级 与优化(Optimize)
按服务水平协议(SLA)分级存储是IT降低总体营运成本的主要手段之一,其附带的好处是通过节能降耗达到能效优化的目标。通用方法是采购较少的但容量较大的存储设备,将现有工作负荷予以整合与优化,进而提高存储资产的利用率。这部分的关键在于存储设备是否支持各类磁盘,是否可以满足各种 SLA 的存储需要。
方向3: 发挥存储软件的功能
用更少的数据量达到相同的功能如今也是提升能效的有效方法。例如,利用自动精简配置(Thin Provisioning)技术延缓磁盘的采购时程、在满足SLA的条件下利用递增快照(Incremental Snap)取代完整复制(Full Clone)、利用Virtual LUN技术在线迁移数据至低能耗卷。其中很多都是EMC独有的技术,可以在能效优化领域助客户一臂之力。
方向4:改进备份与归档能力
如何改进备份的效率进而改善能效问题也是一个不容忽视的问题。客户可通过EMC精准的FSA服务,充分了解 IT 数据的存取特征并进行存储规划,从而在每日的备份作业上以最小的备份量完成备份作业。因此,客户可以得到两个能耗优化点,即以归档达到分级存储及精简备份资源的节能降耗目标。
方向5: 删除重复性数据
如果可以将备份的数据直接做全域性重复数据删除,将可以大幅缩减备份资源,这是一项革命性的数据保护方法,彻底颠覆以往传统IT的备份思维。EMC的 AVAMAR 产品正是这一领域的佼佼者,平均数据的缩减率可以达到令人难以想像的300∶1,这一前所未有的方法是大幅提升能效的利器之一。
最后,EMC 的专业服务可以综合上述方法制定能效优化策略,并以 EMC 独有的能耗计算器 EMC Power Calculator精准预估各种节能方式的投资回报率(ROI),从而建议客户应当采用哪种策略,这是EMC的专业能力。
设计与实施: 落实能效优化策略
第三步是设计,即在与客户达成策略共识后,EMC 能够确定相应的能效改进方式,在设计阶段将在此基础上针对细节部分进行设计工作。涉及范围如主机虚拟化调整设计、存储基础架构调整设计、应用软件调整设计、组态调整设计、机房调整设计、项目日程规划等设计。
最后一步是建立(Build),即按设计细节实施,实现能效优化的目标。
总体说来,由于制定节能服务方案是一个涉及范围极广的课题,如何组合出最佳能效策略是一门艺术。EMC结合长期以来在信息领域的实践以及在此领域颇具深度和广度的专业经验,它以一系列扎实可行的方法,从 ILM 角度整合和管理数据,进而协助客户达到节能降耗效果。
以本文案例来说,该客户采用 EMC 专业的节能服务方案后得到以下明显效益:
1 原有26个数据中心,整合为1个数据中心;
2 原有436台服务器,虚拟化整合为105台服务器;
3 原有约5800平方米占地面积,整合后只需3600平方米;
4 原有电力及空调费用年支出为1180万美元,节能改进后只需年支出730万美元;
5 能效优化效果每年约达到450万美元;
6 额外效益,包括以标准化技术改善原有作业效率、构建以信息为中心的基础架构、改善原有业务支持的d性和服务水平等。
专家点评
正如本方案所提到的,绿色存储的实现是一系列技术、方案、策略的组合,绝不仅仅是一项或多项技术的简单部署。实际上,“绿色”管理与信息安全管理一样,应该是IT管理的一个主题。本方案对绿色存储方案的规划、部署和评估给出了一个较为完整的实施框架,给出了“绿色”管理的一个实现轮廓,对用户全面实施“绿色”管理(而不仅仅是“绿色存储”管理),具有实际指导意义。从整体上看,EMC的绿色方案非常系统和全面,从评估、规划、设计到建设都做了描述,尤其值得称道的是方案的前半部分,评估和规划部分都很精彩。EMC所推荐的技术都有助于降低能耗,尤其是“删除重复数据”这项技术对于能耗降低的贡献非常大。尽管其中提到的很多技术是从EMC公司自有产品出发的,但用户仍旧可以得到很多具体的参考和启示。当然如果能把这些技术综合地集成在数据中心的建设中,在实现绿色存储这个目标上就会事半功倍。EMC所推荐的评估角度都非常有助于用户充分了解自身在存储上的能量损耗,从中认识到绿色存储的重要性,并为下一步的规划和设计提供了坚实的基础。由于评估是“绿色”管理中很重要的一环,由此可见在这方面的探索和实践方面,EMC已经做了大量工作。
本方案中提到的方法论和技术,很多都是比较“底层”的,需要用户在构建数据中心或在大规模部署新应用时,进行充分的考虑。但对用户现有的数据中心来说,要从头实现,动作也太大了些。另外,本方案后半部分有点虎头蛇尾,设计和建设的讲解与说明远远少于评估和规划。

子文件重复删除技术不仅用于在备份应用中节省磁盘空间。新一代的备份应用,包括Asigra的 Televaulting,EMC的 Avamar Axion和赛门铁克的NetBackup PureDisk都采用基于散列(hash)的重复数据删除技术来减少通过WAN发送备份所需要的带宽。
首先,像生成增量备份的传统备份应用技术一样,新一代的备份应用技术也采用常用的办法如归档位,最后修改的日期,并且文件系统更改从最后一次备份起已经发生改变的文件ID日志。然后它们将文件切成更小的块并且为每个块生成散列(hash)。
然后,将这些散列(hash)与已经备份在本地的数据块的散列(hash)对象进行比较。没有出现在本地缓存和文件系统元数据中的散列(hash)被发送到中央备份服务器,再将数据与散列(hash)表进行比较。如果没有发现相同的散列,备份服务器发回一个散列表;然后被备份的服务器发送那些散列代表的数据块到中央服务器进行保存。
与对被备份到多个目标的服务器数据(它们甚至被备份到整个企业的各个目标)进行“重复删除”的备份方案相比,上述这些备份方案缩减数据的程度更高。例如,如果CEO发送100 MB的PowerPoint文件到500个分支机构,只有第一个会被备份,所有其它的只会发送散列到总部并且告知“我们已经收到,谢谢。”
这种方法几乎避免了影响基于散列的系统的可扩展性问题。因为每个远程服务器只保存其本地数据的散列(hash),散列表不会增长到超出可用的空间,中心位置的磁盘I/O系统比传送备份的WAN 的速度快得多,在磁盘上搜索一个巨大的散列索引也比发送数据快得多。
尽管Televaulting, Avamar Axion 和 NetBackup PureDisk 共享一个相似的架构,并且都是根据重复数据删除存储的大小进行定价,但是还是存在一些不同的地方。NetBackup PureDisk采用固定的128KB的数据块,而elevaulting 和 Avamar Axion采用可改变大小的数据块,这会使重复删除技术性能更好。PureDisk 支持NetBackup,赛门铁克承诺未来进行更好的整合,即提供我们希望的可以将重复删除与数据中心备份工作整合的设备。Asigra也向服务提供商销售Televaulting产品,以便不想建立自己架构的小企业也可以利用重复删除技术。
有几个客户的报告中都写到,他们在不对备份流程做大改动的情况下,的确获得了20:1的缩减比例。小企业可以采用 Asigra, EMC 和赛门铁克的新一代备份软件取代传统的备份方案。中型企业可以采用面向数据中心的备份设备。需要很高备份性能的大型企业可能不得不等待下一代产品了。
不要惧怕冲突
我们之前一直听说用户害怕使用基于散列的重复删除,因为有可能发生散列冲突----两组数据生成相同的散列,从而导致数据损毁。尽管有因为散列冲突导致数据损毁的风险,但是它发生的概率与每天存在的存储管理风险相比是非常小的。
重复删除技术通常采用MD-5 (a 128 字节的散列) 或 SHA-1 (a 160字节的散列) 算法。生成相同的MD5散列的两个随机数据块的可能性大约是1/1037。如果一个PB的数据采用 MD-5算法,以平均大小为4KB的数据块进行“重复删除”处理,两个块生成相同MD-5散列的可能性大约是1/1020。
通过比较,具有一百万小时MTBF(平均故障间隔时间)的两个互为镜像的驱动器在彼此一小时内发生故障的可能性是都是1/1020---比发生散列冲突的机会几乎高10亿倍。通过以太网或FC发送的数据受CRC-32检验和的保护,其未检出数据差错的概率大约是1/4x109。
记住存在散列冲突是很重要,但并不意味着数据会全部丢失。如果重复删除系统错误地把两个数据块识别成含有相同数据的块,当它们不被存储时,系统会继续执行 *** 作。但当存储数据时,数据被错误识别的这个文件会被破坏。所有其它的数据会被正确地恢复。发生散列冲突的概率应该小于行星碰撞或黄石公园大火山喷发的概率。
存在于数据重复删除中更大的风险是来自硬件故障的灾难性的数据损失。因为任何特定的备份工作的数据,实事上,是任何特定的大文件被切成块,分散在整个重复数据删除设备中,它不关心你备份了那个服务器多少次,如果你在重复删除设备中损失了一个RAID设置,你会损失很多数据。于是增强的数据保护功能,例如电池备份缓存和RAID 6,对重复删除目标来说,比对基本的存储应用更重要。

尽管重复删除技术已经逐渐成为一项热门技术,但是很多分析师和用户都提出,要谨慎的对待它,不要因为广告大肆宣传而盲目追捧。
重复数据删除技术旨在删除冗余的备份数据、确保同样的数据信息只被保存一次。最近,众多厂商都相继推出了整合该技术特性的解决方案。与此同时,一些用户也开始使用这项技术来对海量数据进行管理与控制。
其他一些潜在的用户在面对五花八门的重复数据删除方案时也显得有些无所适从。在这里,专家为用户列出了以下几条建议:
1、详细了解这项技术。尽管现在关于重复数据删除技术的宣传铺天盖地,但这并不意味着这项技术适合所有用户应用。StorageIO顾问公司的分析师Greg Schulz表示:“重复数据删除并不是删除冗余数据的唯一方法。”他还说,用户可以考虑采用其他一些管理、简化数据的技术。
在这里,他特别提到Storewiz等厂商所提供的数据压缩技术。他说:“数据压缩技术的数据删除率比重复数据删除低,但是前者的数据删除率要比后者稳定的多。”所以在通常情况下,数据压缩技术的可靠性更高。
Storewiz提供的数据压缩技术不仅可以删除冗余的备份数据,而且可以删除冗余的主存储器。与重复数据20:1到50:1之间的数据压缩率相比,Storewiz的数据压缩技术的压缩率则在2:1到5:1之间(取决于数据和应用程序的类型)。
2、明确你的需求是什么。在应用重复数据删除技术之前,用户应该认真地想一想自己到底需要这项技术来实现什么目标。“重复数据删除的条件就是存在相同或者类似的信息。”Schulz这样说道,例如姓名或地址等相同的数据信息很容易被重复数据删除技术列为要删除或压缩的对象。
3、选择一个合适的、带有重复数据删除功能的解决方案。目前,各厂商在其硬件或软件产品中提供了形式多样的重复数据删除技术策略。例如,Data Domain和Quantum推出了一种专门的重复数据应用,而归属于EMC的Asigra和Avamar则推出了一种基于软件的解决方案。此外,FalconStor和Sepaton等厂商还提供了一种为删除的冗余数据创建VTL的解决方案。
DragonSlayer咨询公司的首席分析师Marc Staimer说:“我个人更倾向于将重复数据删除技术整合加入到软件产品中的解决方案,这样我就可以自己决定使用哪一款软件。”他认为VTL和基于应用的重复数据删除都是有局限性的。“它限制了 *** 作的灵活性,也就是说,如果我采用了其他厂商提供的VTL,就会带来许多问题,”
4、Inline processing与Post processing。重复数据删除技术被分为两大类:Domain、Diligent等提供的Inline processing和由Sepaton、FalconStor等提供的Post processing。目前,只有昆腾能够在一个解决方案中既提供Inline processing技术又提供Post processing技术。
Inline processing发生在数据从备份服务器接收并存储到磁盘的时候,而Post processing通常发生在备份处理之后,避免了备份和重复数据删除之间发生冲突。目前,支持Inline processing和Post processing的两大阵营不分上下,但是又有第三个阵营表示更倾向于将Inline processing和Post processing相互整合。
虽然Post processing技术不会减缓数据备份的处理过程,但是Post processing更适合那些大型企业,因为通常这些大型企业可以为那些还没有被删除的冗余数据提供富余的存储空间。
5、提前考虑到安全问题。教育服务提供商Timecruiser的CTO James Wang认为,由于重复数据强调的是单实例存储,所以这给用户带来了新的安全问题。他说:“如果你执行了重复数据删除,数据信息的多个副本都会被删除,最后只保留一个副本,于是你就不得不格外谨慎地保留这个副本。”
之前,Timecruiser每天都会保存当天所有的数据副本,而现在它只保存其中的一部分了。为了增强安全性,Wang和他的技术小组正研究向其重复数据删除的基础架构中整合加入远程复制功能,将公司的数据信息复制到一台远地的存储设备上。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zz/10570620.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-09
下一篇 2023-05-09

发表评论

登录后才能评论

评论列表(0条)

保存