华为突破分布式数据库和存储技术,打通数字化转型“雄关漫道”

华为突破分布式数据库和存储技术,打通数字化转型“雄关漫道”,第1张

2019年,我们将进入数字化转型的攻关期。所谓“攻关期”即数字化转型20阶段,需要攻坚企业关键业务上云和数字化转型改造的课题。在一份市场调查公司IDC的报告中指出:IDC自2014年提出数字化转型以来,看到企业在数字化转型层面已经投入了大量人力物力,但是效果并不理想,有一些企业已经成功屹立在潮头,有一些企业在向上游进发,还有一些企业只能在浪潮的挟裹中被动前行。

对于企业来说,数字化转型是“雄关漫道”。IDC认为,目前阶段来看,企业亟待解决的是数字化能力提升,包括:与业务的深入结合能力;数据处理和挖掘能力;以及IT技术运营和管理能力。特别是数据处理和挖掘能力,因为数字化转型推进企业从以流程为核心向以数据为核心转型,对海量、异构、多类型的数据处理和挖掘能力是释放数据价值的前提,对数据全生命周期的管控治理是释放数据价值的保障。而随着数字化转型引入大量新技术而导致IT复杂度变高,企业IT技术运营和管理能力是提升企业“IT生产力”的关键。

攻关数字化转型的“雄关漫道”,需要一个具备融合、智能、可传承三大特性的数字平台。这是2019年3月华为与IDC联合推出的《拥抱变化,智胜未来—数字平台破局企业数字化转型》白皮书所提出的观点。融合主要指把传统技术和创新技术相结合;智能主要指平台智能化和智能化能力输出;可传承主要指解耦、功能复用、可配置等理念打造的架构。而承载这三大观点的,就是新一代分布式企业级技术。

2019年5月15日,华为发布了业界首款支持ARM架构的新一代智能分布式数据库GaussDB以及分布式存储FusionStorage 80,作为新一代数据基础设施,诠释了具备融合、智能、可传承三大特性的数字平台。华为常务董事、ICT战略与Marketing总裁汪涛在发布会上表示,千行百业正在加速智能化进程,越来越多的企业已经意识到数据基础设施是智能化成功的关键。华为围绕计算、存储和数据处理三个领域重定义数据基础设施,加速迈向智能时代。
今天所讨论云和工业互联网等概念的背后是一个新时代的到来,这就是体系架构大迁徙。传统企业级技术是在单体应用和单机环境中,保证数据存储、调用等 *** 作的高可靠、高可用、高稳定,特别是满足金融级事物处理的ACID(原子性、一致性、隔离性和耐久性)要求,为企业关键业务提供数据管理支撑。随着企业技术向云架构迁移,数据库技术也面临转型。

2018年,基于云计算技术的分布式数据库成为了业界的热点。简单理解,云计算技术就是把“单机”环境替换为由X86服务器机群所组成的分布式计算环境。原先由几台小型机完成的计算任务,要分散到上百甚至上千台X86服务器上,而且还可能跨数据中心 *** 作,挑战可想而之。特别是在线支付等金融级业务,不能在断网或网络连接有问题时出错,也不能因响应速度慢而影响用户体验。

2018年8月,中国支付清算协会与中国信息通信研究院联合举办了“金融分布式事务数据库研讨会”,与业界厂商和用户共商核心数据库分布式转型之路,同时发布了《金融分布式事务数据库》白皮书。金融分布式事务数据库的工作推进,为分布式数据库进入企业关键业务系统,提供了产业化支撑。而华为作为企业ICT解决方案供应商,早在2012年就开始研发面向大数据分析的数据仓库,在基于传统关系型数据库SQL引擎和事务强一致性等基础上,进行了分布式、并行计算的改造,历时6年打造了面向PB级海量数据分析的分布式数据库。

在OLAP数据仓库之外,华为与行业用户合作了面向OLTP的分布式事务型数据库研发。2017年,华为与招商银行合作成立了分布式数据库联合创新实验室,研发具有高性能企业级内核、完整支持分布式事物、满足金融行业对数据强一致要求、单机事物处理能力要达到每分钟百万级别等的OLTP分布式数据库。

本次发布的GaussDB数据库新品包括:联机事务处理OLTP数据库、联机分析处理OLAP数据库、事务和分析混合处理HTAP数据库。而华为GaussDB数据库将AI技术融入数据库设计、开发、验证、调优、运维等环节,可实现基于AI的自调优、自诊断自愈、自运维,让数据库更高效、更智能,引领数据库架构的发展。

更进一步,本次发布的GaussDB系列数据库是业界首款支持ARM芯片的分布式数据库。华为推动计算架构从以X86+GPU为主的单一计算架构到以X86+GPU+ARM64+NPU为主的异构计算架构快速发展。基于X86架构,华为引入AI管理和智能加速能力,率先推出了智能服务器FusionServer Pro;基于ARM64打造了业界性能最强的TaiShan服务器;基于Ascend芯片的Atlas智能计算,实现了业界首个端边云协同的人工智能平台。而GaussDB可充分利用并融合ARM、X86、GPU、NPU等多种异构算力组合,大幅提升数据库性能。

汪涛强调,作为全球首款AI-Native数据库,GaussDB有两大革命性突破:第一,首次将人工智能技术引入数据库的全生命周期流程,实现自运维、自管理、自调优和故障自诊断。在交易、分析和混合负载场景下,基于最优化理论,首创深度强化学习自调优算法,把业界平均性能提升60%。第二,支持异构计算,充分发挥X86/ARM/GPU/NPU多样性算力优势,最大化数据库性能,在权威标准测试集TPC-DS上,华为GaussDB排名第一。GaussDB还支持本地部署、私有云、公有云等多种场景。

在以云计算为代表的分布式计算环境中,数据管理解决方案除了需要分布式数据库外,为了更好的扩缩容以及满足多样化数据存储需求,计算与存储分离已经成为分布式数据库设计的主要架构。分布式云化架构,就是要支持计算、存储分离和多租户等架构设计要求。

GaussDB已经从数据库层面实现了高可用、高可靠、高稳定的分布式数据库,本次发布的FusionStorage 80则是分布式存储架构,创新地实现一套系统同时支持块、文件、对象、HDFS协议,1套存储支持4类存储能力,适用于全业务场景混合负载,最终让“一个数据中心一套存储”成为可能。

IDC发布的《中国软件定义存储(SDS)及超融合存储(HCI)系统市场季度跟踪报告,2018年第四季度》显示,2018年,软件定义存储市场达到了549%的同比增长。软件定义存储在中国整体存储市场的占有率稳步上升,分别达到了221%的市场占有率。华为凭借文件解决方案在政府、广电和电信等行业得到认可,在2018年中国软件定义存储市场排名第一。

FusionStorage 80采用华为ARM-based处理器鲲鹏920加速,使IOPS提升 20%,结合华为AI Fabric无损网络,时延进一步降低15%。基于华为在计算、网络和存储领域多年的芯片和算法积累,FusionStorage 80在SPC-1的性能测试中,单节点性能达到了168万IOPS以及1ms以内时延,成为承载企业关键应用的新选择。

此外,通过华为云的云上训练及本地AI芯片,FusionStorage 80将智能管理贯穿业务使用的全生命周期,如业务上线前对存储资源的规划,使用过程中的风险预判及故障定位,大幅提升存储效率,帮助行业客户应对智能时代的数据新挑战。

汪涛在发布会上强调,新一代智能分布式存储FusionStorage 80通过重定义存储架构,从“Storage for AI”和“AI in Storage”两个维度实现效率大幅提升,引领存储智能化。首先,“Storage for AI”通过融合共享,让AI分析更高效。其次,“AI in Storage”率先将AI融入存储全生命周期管理,从资源规划、业务发放、系统调优、风险预测、故障定位等方面实现智能运维。

辽宁移动就采用了华为FusionStorage。作为辽宁省内最大的移动通信运营商,辽宁移动一直在 探索 先进的存储方案在自身IT系统的应用。由于5G的快速发展,辽宁移动关键数据库的应用也向云化方向发展,分布式存储也要满足其可靠性和高性能要求。华为在深入分析辽宁移动需求后,首先在边缘开发测试业务小规模试点分布式存储,进行了大量的实验和测试后性能和可靠性都达到了预期,最终决定将全部业务迁移至FusionStorage。该方案通过采用双活、可写快照、端到端DIF等特性,顺利完成Billing、经营分析、B2B等系统从老旧存储至FusionStorage的搬迁工作,助力辽宁移动的存储架构迈入新的 历史 阶段。

值得一提的是,华为分布式数据库与华为分布式存储深度结合,把数据库的 *** 作下沉到存储节点,极大提升了分布式数据库的性能。利用新的网络技术和人工智能技术,华为帮助用户提升数据中心的吞吐量,提升网络应用的可伸缩性,并且能自动调优。
除了推出新一代突破性的分布式数据库和存储技术外,华为也积极与客户、伙伴在数据库与存储领域,从行业应用、平台工具、标准组织和社区等多个层面共建开放、合作、共赢的产业生态。在行业应用层面,华为与软通智慧、神州信息、东华软件、易华录、用友政务、亚信国际等独立软件开发商长期合作;在平台和工具层面,华为与Tableau、帆软、ARM、Veritas等合作伙伴联合创新;在标准组织和社区层面,华为深度参与OpenSDS、中国人工智能产业联盟、OCP、OpenStack、CNCF基金会等组织和社区的建设。

总结来说,华为全线分布式数据库和分布式存储产品的发布,是华为具备融合、智能、可传承三大特性数字平台的最新成果。华为分布式数据库与分布式存储结合,能消除企业各业务系统数据孤岛,构建面向行业场景的数据建模、分析和价值挖掘能力,对多源异构的数据进行汇聚、整合和分析,形成统一的全量数据和数据底座,实现数据价值挖掘和共享。而基于AI的智能化,可对基础设施进行高效的管理,为行业应用开发和迭代赋能,全面帮助企业突破关键应用上云的“雄关漫道”。(文/宁川)

1 什么是服务器虚拟化服务器虚拟化是指在单个物理服务器上运行多个相互独立的 *** 作系统的一种技术。通过虚拟化软件将单个物理服务器划分为多个虚拟机。每个虚拟机都能共享物理主机上的物理资源,包括CPU、内存、磁盘和网络资源等。作为一种主流应用技术,越来越多的组织机构都已经或者正在实施服务器虚拟化,它可以帮助节省投资、增加资源利用率,对现有基础设施无需重大变更就可以提高IT响应速度和灵活性。
2 服务器虚拟化技术的优势
① 提高服务器利用率:大部分服务器的利用率仅为全部性能的三分之一甚至更少,通过将多个工作负荷整合至一台服务器上,可以实现更高的资源利用率。
② 提高业务持续性:业务持续性对系统可靠性提出了更高要求,服务器虚拟化技术强大的容错、灾备、快速恢复特性,可以提高系统可靠性,从而维持业务持续性。
③ 动态资源调配:服务器虚拟化可以实时自动平衡工作负载。通过实时迁移功能,资源调配工具可以将运行中的虚拟机在线迁移至拥有更多资源的其他服务器上,或者灵活调整其他虚拟机,从而匹配工作负载,实现业务和资源最优化。
3 利用服务器虚拟化的几种情况
31 优化已退出业务应用但仍需保持在线的系统
随着业务不断发展,一些系统已不再适用,新系统取而代之,一般的做法是数据迁移至新系统,旧系统下线,但也有一些情况并不迁移数据,旧系统维持在线作为历史查阅之用。对于这样的情况,由于对服务能力要求的大幅降低,继续保持旧系统运行会造成一定的资源浪费,此时便可以将其虚拟化,整合多个业务到一个物理服务器中集中运行,从而降低综合运维成本。
32 迁移运维困难的旧系统
一个应用系统也许会持续使用多年,硬件设备随时间推移逐渐老化,由于厂商服务及备件问题,后期运维成本逐渐增大以致无法维持,而随着硬件技术的发展和 *** 作系统更新,新的服务器却可能因兼容性而无法使用,为解决这一矛盾,利用虚拟化软件的兼容性,将新服务器虚拟化之后,模拟原运行环境,部署旧系统和应用,使之得以延续生命周期。
33 利用计算能力强的新硬件,整合多个旧系统
每个系统对服务器性能都有一定要求,而随着技术的发展,新硬件的计算能力大幅提高,远超出旧系统的需求,如果在更新服务器时,同时利用虚拟化将多个旧系统装入一个物理服务器中,通过合理调配虚拟机资源,可以保证在节省空间、节约电力,节约投资的同时又满足多系统并存对资源的需求。
34 软件开发和测试环境
通过服务器虚拟化,可以以较低的成本,快速创建和复制特定类型的软硬件环境,用于软件开发和测试。同时虚拟机的快照和快速恢复特性也非常适合于此类环境的工作要求。
35 提高服务的安全性
通过服务器虚拟化,将相同类型的一组服务,根据不同的服务对象或业务需要,部署同一物理主机的在不同的虚拟机中,使服务之间相互隔离,互不影响,从而提高服务的可靠性和安全性。
4 服务器虚拟化的常用软件
41 Microsoft Hpyer-V
Hyper-V是微软伴随Windows Server 2008推出的服务器虚拟化解决方案,采用了全新的64位微内核管理程序架构,让Hyper-V在性能和安全性上都有较大提高。利用新的虚拟服务程序/虚拟服务客户端(VSP/VSC)架构使磁盘、网络等核心资源的访问利用得到改善。Hyper-V支持不同类型的(例如Windows、Linux及其他 *** 作系统)32位和64位 *** 作系统,具有非常好的硬件兼容性,但Hyper-V要求处理器必须支持AMD-V或者Intel VT技术。
42 VMware ESX server
ESX server是当前服务器市场上最成熟,最流行的虚拟服务器产品。是适用于任何系统环境的高效灵活的企业级虚拟主机平台,对比其他虚拟软件产品,ESX的最大优点是可以极大减少宿主系统所占用资源,其内核直接运行在硬件之上,系统稳定性和性能都有很大的提高。其大型机级别的架构提供了空前的性能和资源控制特性,适合各种要求严格的应用程序的需要。同样VMware ESX Server需要处理器支持硬件辅助虚拟化技术才可以更加有效地运行。
43 Citrix XenServer
XenServer作为一种开放的、功能强大的服务器虚拟化系统,能够为任何服务器和数据中心虚拟化项目提供所有关键特性,强大的可扩展性支持任何规模的企业,满足Windows和Linux系列的 *** 作系统以及复杂的存储需求。XenServer基于开源的Xen系统管理程序,直接运行在服务器硬件上,作为准虚拟化技术的代表,其响应能力基本接近未经虚拟化处理的物理服务器,可以以较低的部署成本实现最佳的性能和可扩展性。
5 服务器虚拟化之后的常见问题
51 单点故障风险
虚拟化最大的优势就是服务器整合,节省运营成本,但这对用户来说也意味着要将所有的鸡蛋放在一个篮子里,增加了风险。过去在多台物理服务器上运行不同的工作负载,当其中一台服务器宕机时,不至于所有工作负载都停止运行。而在虚拟化环境里,一旦物理服务器故障宕机,就意味着所有该服务器承载的工作负载(虚拟机)都会陷入瘫痪,若不能及时恢复将给企业带来灾难性的后果。因此应设立额外的冗余物理服务器,当某一物理服务器出现故障,通过虚拟化软件的在线迁移工具将其对应的工作负载及时动态迁移到别的物理服务器上,虽然增加了虚拟化成本,但可以有效避免全部虚拟服务器崩溃的风险。
52 潜在安全风险
和很多技术方案一样,服务器虚拟化由于系统架构固有特点决定了在安全方面存在一定的潜在风险。当不同的工作负载在虚拟机上运行的时候,作为宿主的物理主机的安全变得更为重要。如果一个未经授权的用户获取了宿主 *** 作系统的访问权限,便有可能复制敏感数据或破获整个虚拟机系统。同时也可以关闭虚拟机或进行宿主机层面的重新配置,从而造成严重的服务中断。对于访问者而言虚拟服务器和物理服务器没有区别,同样面临被人恶意攻击的风险,一旦一台有漏洞的虚拟机被攻陷,安全威胁就可以透过网络扩散到其它虚拟机,从未威胁整个虚拟机管理系统。物理服务器作为虚拟服务器的根本,保护其稳定安全,是安全防范工作的重中之重。虚拟机环境下,病毒和恶意软件的影响很可能是同一台物理服务器上的所有虚拟工作负载,而不仅仅是一个单独的虚拟机,会给系统资源造成相当大的负荷。另外关于病毒防护,一般做法是将每个独立虚拟机单独安装病毒防护软件,这样将导致总体消耗的系统资源非常巨大,如果能采用专门应用于虚拟化平台的安全防护软件效果可能会更好。
53 I/O瓶颈和数据备份
相对于计算能力,存储性能增长的速度明显要慢得多。对于虚拟化而言,I/O瓶颈和缓慢的存储性能成为一大难题。高密度的虚拟化产生大量I/O流导致物理硬盘的频繁 *** 作,极大增加了磁盘工作负载,并且缓存对性能的提升效果也越来越有限。服务器虚拟化环境下,如果仍然使用传统备份方法来保护数据将是得不偿失的,在一台物理服务器上同时进行多个虚拟机数据备份时,备份任务将对服务器硬件资源进行激烈争夺,同时虚拟机的工作负载迁移工具会使得备份问题变得更加复杂。因此每台虚拟服务器,都必需实施相应的备份策略,对配置文件、虚拟机文件及其中的重要数据都要进行备份。预留一定的服务器资源用于备份任务,安排合理完善的备份计划,合理利用虚拟机快照工具有助于改善这一状况。
6 结语
近几年,服务器虚拟化已被广大用户所接受,它将固定不变的硬件设备转化为可以动态管理的“资源池”,从而提高资源的利用率,简化管理,提高系统可用性,节约投资,降低综合运维成本,增强IT对业务的变化的适应力,所有这些对用户都是真实的利益所在。任何一种技术都会有优势和劣势,但是随着技术的不断进步,相信虚拟化应用过程中出现的各种不足和问题都会得以改进和解决。
参考文献:
[1]郝勇、许秀文、杨铭,浅谈服务器虚拟化[J]中国管理信息化,2011(04)
[2]韩寓,服务器虚拟化技术研究与分析[J]电脑知识与技术,2011(07)

一、升级前的准备
1、首先在原有的windows 2000 server上备份系统状态数据库。
2、然后准备好新的域服务器的硬件。(实际情况为公司的DELL服务器)
3、在新的服务器上面全新安装windows 2003 sserver系统。
4、扩展现有的windows 20000 server(主域控制器)。
分为两步:
先准备林,使用 adprep /forestprep 命令在架构 *** 作主机上运行 adprep 命令。在架构主机上运行 adprep 命令将更新架构,这些更新将依次复制到林中所有其他域控制器。复制这些更改所用的时间将因单位的复制计划而有所不同。
然后准备域,要准备域,在结构 *** 作主机上运行 adprep,这次使用 adprep /domainprep 命令。
注意:
在没有安装 service pack 的 Windows Server 2003 域控制器上,由于 SYSVOL 共享文件夹中的组策略对象 (GPO) 的同步,adprep /domainprep 可能会产生很大的复制通讯量。具有 Service Pack 1 (SP1) 的 Windows Server 2003 包含新的 adprep 命令 adprep /domainprep /gpprep,此命令可以独立于 adprep /domainprep 运行,并且随时都可以运行它以同步位于 SYSVOL 共享文件夹中的 GPO。
因此,如果正在从 Windows 2000 Server 环境升级到具有 SP1 的 Windows Server 2003,请使用 adprep /forestprep 准备林,使用 adprep /domainprep 准备域。然后,在网络状态理想时,使用 adprep /domainprep /gpprep 将可继承的访问控制项 (ACEs) 添加到 SYSVOL 共享文件夹中的 GPO,并在域中的域控制器之间同步 SYSVOL 共享文件夹中的内容。
Adprep 命令行工具位于 *** 作系统安装光盘上的 I386 目录中。
要点:
在使用 adprep 准备林和林中的域之前,您不能将运行 Windows 2000 的域控制器升级至 Windows Server 2003 或带有 SP1 的 Windows Server2003,或者将运行 Windows Server 2003 或具有 SP1 的 Windows Server 2003 的域控制器添加到 Windows 2000 域中。
5、将新的windows 2003 server服务器加入到域里。
6、然后等windows 2003 server复制完成域里的数据和信息(包括域的组织单元和域用户还有域里的组等等。)
7、在新的widnows 2003 server 上面安装DNS服务,等DNS自动将主域服务器的DNS上面的记录复制过来。
8、转移域里的5种角色:
二转移特定于域的角色:RID、PDC 和结构主机
1. 单击“开始”,指向“程序”,然后选择“管理工具”,选择“Active Directory用户和计算机”。
2. 右键单击“Active Directory 用户和计算机”一旁的图标,然后单击“连接到域控制器”。
3. 右键单击“Active Directory 用户和计算机”图标,然后单击 *** 作主机。
4. 在更改 *** 作主机对话框中,单击与您要转移的角色对应的选项卡(RID、PDC 或结构)。
5. 单击更改 *** 作主机对话框中的更改。
6. 单击确定以确认您想转移的角色。
三转移域命名主机角色
1.单击开始,指向程序,指向管理工具,然后单击“Active Directory 域和信任关系”。
2.右键单击“Active Directory 域和信任关系”图标,然后单击“连接到域控制器”。
3.单击将成为新的角色担任者的域控制器,然后单击确定。
4.右键单击“Active Directory 域和信任关系”,然后单击 *** 作主机。
5.在更改 *** 作主机对话框中,单击更改。
6.单击确定以确认您想转移的角色。
四转移架构主机角色
注册架构工具
1.单击开始,然后单击运行。
2.键入 regsvr32 schmmgmtdll,然后单击确定。应显示出一条指出注册成功的消息。
转移架构主机角色
1.单击开始,单击运行,键入 mmc,然后单击确定。
2.在控制台菜单上,单击“添加/删除管理单元”。
3.单击添加。
4.单击 Active Directory 架构。
5.单击关闭以关闭添加独立管理单元对话框。
6.单击确定以将此管理单元添加到控制台。
7.右键单击 Active Directory 架构图标,然后单击更改域控制器。‘
8.单击 Specify Domain Controller(指定域控制器),键入将成为新的角色担任者的域控9制器的名称,然后单击确定。
10右键单击 Active Directory 架构,然后单击 *** 作主机。
11在更改架构主机对话框中,单击更改。
12单击确定。
完成角色的转移以后,测试客户端的登陆和对域内的资源是不是能正常访问


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zz/13494726.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-08-18
下一篇 2023-08-18

发表评论

登录后才能评论

评论列表(0条)

保存