基金行业的IT 基础架构建设需要考虑哪些因素才能满足“云化要求”?

基金行业的IT 基础架构建设需要考虑哪些因素才能满足“云化要求”?,第1张

IT基础架构是以局域网为中心,数据中心基础是以大数据为中心。

企业内网IT模型包括应用层:公司业务的技术化体现,指应用系统,比如企业的ERP,OA,CRM。基础系统层:文件、邮件、windows桌面管理、虚拟化。网络层:路由器、交换机、防火墙组成的互联网络。机房层:狭义上可以理解就是咱服务器、交换机存放的机房,广义上包括IT所有物理层面相关的设备。

数据中心是一整套复杂的设施,它不仅包括计算机系统和其它与之配套的设备(例如通信和存储系统),还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置。计算机设备作为整个数据中心的核心部分,其发展历程决定了数据中心的发展历程;同时未来的应用需求理念,也引导了数据中心的发展方向。

首先,我们必须搞清楚什么是超融合架构

超融合基础架构(Hyper Converged Infrastructure,或简称“HCI”)是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术,而且还包括备份软件、快照技术、重复数据删除、在线数据压缩等元素,而多套单元设备可以通过网络聚合起来,实现模块化的无缝横向扩展(scale-out),形成统一的资源池。

其次,超融合概念包含三个要素

使用通用硬件,具体说就是 x86 服务器,所以如果出现专有硬件的 IT 平台的就不属于超融合;

软件定义, 即 IT 服务是通过 x86 服务器里运行的软件实现的,如:分布式存储软件实现数据存储服务;

所有的 IT 服务要在一个平台下,隶属于同一个软件栈。

再次,什么是融合架构方案

融合基础架构(Converged infrastructure)是把多个信息技术(IT)组件进行融合,组成一个单一的、优化的计算解决方案。融合基础架构解决方案的组件包括服务器,数据存储设备,网络设备和IT基础设施管理,自动化和业务流程的软件。可以理解为是一种系统集成。融合系统的扩展可以只扩充计算或存储节点,二者没有直接的相互依赖关系。

市面上将存储设备,服务器,网络交换机放在一个机柜里整体交付的融合方案(如:VCE Vblock)

最后,超融合架构与融合架构的区别?

融合架构和超融合完全不是一回事,前者更多强调软件硬件预先配置和验证好,整体交付,计算或存储相互独立;而超融合架构则更多的强调虚拟计算平台和存储融合到一起,将每台服务器里面自带的硬盘组成存储池,以虚拟化的形式提供数据中心所需要的计算、网络、安全以及存储等IT基础架构。

云时代,基金行业云化除了灵活、高效、低成本之外,还必须满足稳定、高性能、高安全性等要素。Nutanix 超融合基础架构和企业云 *** 作系统软件解决方案可以满足基金行业的“云化要求”。

基金行业可以在新的数据中心部署Nutanix 超融合基础架构和企业云 *** 作系统软件解决方案,并将数据库管理、自动化办公和容灾等主要业务系统迁移至Nutanix平台上。

这能有效提高企业新数据中心的效率和生产力,同时减少了企业管理开销和存储空间。通过减少用于基础设施“维护”上的时间,提高IT系统整体性能和灵活性,基金行业才能够将更多的资源投入到新的业务模式开发之中,以适应新的挑战。

另外,Nutanix内置的容灾保护功能,可以通过显著提升容灾的恢复时间目标 (RTO) 和恢复点目标 (RPO),有效降低基金容灾的技术复杂程度,使得基金企业能够更加迅速地应对所有系统中断或故障,快速恢复系统正常

其实超融合这一块,放在云计算IT基础设施里面,不算是完全合适。你说它是分布式存储,但是它同时又是硬件服务器与存储;你说它算硬件,但是它又离不开分布式存储软件。

传统的IT基础设施架构,主要分为网络、计算、存储三层架构。但随着云计算与分布式存储技术的发展以及x86服务器的标准化,逐渐出现了一种将计算、存储节点融合在一起的架构--超融合架构。超融合将三层的IT基础设施架构缩小变成了两层。

2019年11月的Gartner超融合产品魔力象限中,领导者象限有5家:Nutanix、DELL、VMware、CISCO、HPE。(其中DELL vxRail一体机里面用的分布式存储软件也是VMware的VSAN,而VMware提供的则是VSAN纯软件的解决方案)

Nutanix能够成为超融合领导者中的领导者,自然是经过市场的充分验证,得到市场的认可。而且由于其公开资料(Nutanix 圣经)比较齐备,因此我们可以通过Nutanix一窥超融合的究竟。

这边就不搬运了,可以直接搜索引擎搜索“Nutanix圣经”或“Nutanix-Bible”,可以找到相应的官方文档。

引用自NUTANIX圣经 -“Nutanix解决方案是一个融合了存储和计算资源于一体的解决方案。该方案是一个软硬件一体化平台,在2U空间中提供2或4个节点。

每个节点运行着hypervisor(支持ESXi, KVM, Hyper-V)和Nutanix控制器虚机(CVM)。Nutanix CVM中运行着Nutanix核心软件,服务于所有虚机和虚机对应的I/O *** 作。

得益于Intel VT-d(VM直接通路)技术,对于运行着VMware vSphere的Nutanix单元,SCSI控制(管理SSD和HDD设备)被直接传递到CVM。”

个人总结: 从以上官方文档可知,2U的空间可以安装2~4个Nutanix节点(每个节点相当于1台物理服务器),所以设备装机密度非常高。每个节点都安装着虚拟化软件,并且在虚拟化层之上再运行着一台Nutanix的控制虚机(CVM),该虚机主要负责不同的Nutanix节点之间控制平面的通信。单个节点中配置有SSD硬盘与HDD硬盘,替代磁盘阵列作为存储使用,单个节点有独立的CPU与内存,作为计算节点使用。

1、基础架构

以3个Nutanix节点为例,每个节点安装有Hypervisor,在Hypervisor之上运行着客户虚拟机,并且每个节点有一台Nutanix控制器虚机Controller VM,配置有2块SSD与4块HDD,通过SCSI Controller作读写。

2、数据保护

Nuntanix与传统磁盘阵列通过Raid、LVM等方式作数据保护不同,而是与一般的分布式存储一样,通过为数据建立副本,拷贝到其他Nutanix节点存放,来对数据进行保护,Nutanix将副本的数量称作RF(一般RF为2~3)。

当客户虚机写入数据“见图上1a)流程”,数据先写入到本地Nutanix节点的SSD硬盘中划分出来的OpLog逻辑区域(相当于Cache的作用),然后执行“1b)”流程,本地节点的CVM将数据从本地的SSD的OpLog拷贝到其他节点的SSD的OpLog,拷贝份数视RF而定。当其他节点CVM确定数据写入完成,会执行“1c”流程,给出应答写入完成。通过数据副本实现对数据的保护。

数据从SSD中的OpLog写入到SSD以及HDD的Extent Store区域,是按照一定的规则异步进行的,具体详见下面的部分。

3、存储分层

Nutanix数据写入以本地落盘为主要写入原则(核心原则)。

当客户虚机写入数据是,优先考虑写入本地SSD(如果SSD已用容量未达到阀值),如果本地SSD满了,会将本地SSD的最冷的数据,迁移到集群中其他节点的SSD,腾出本地SSD的空间,写入数据。本地落盘的原则,是为了尽量提高虚机访问存储数据的速度,使本地虚机不需要跨节点访问存储数据。(这点应该是与VSAN与其他分布式文件系统最大原理性区别)

当整个集群的SSD已用容量达到阀值(一般是75%),才会将每个节点的SSD数据迁移到该节点的HDD硬盘中。

SSD迁移数据到HDD,并非将所有数据全部迁移到HDD,而是对数据进行访问度冷热的排序,并且将访问较少的冷数据优先迁移到HDD硬盘中。

如SSD容量达到95%的利用率,则迁移20%的冷数据到HDD;如SSD容量达到80%,则默认迁移15%的冷数据到HDD。

4、数据读取与迁移

Nutanix圣经引用-“ <u style="text-decoration: none; border-bottom: 1px dashed grey;">I/O和数据的本地化(data locality),是Nutanix超融合平台强劲性能的关键所在。所有的读、写I/O请求都藉由VM的所在节点的本地CVM所响应处理。所以基本上不会出现虚机在一个节点,而需要访问的存储数据在另外一个物理节点的情况,VM的数据都将由本地的CVM及其所管理的本地磁盘提供服务。</u>

<u style="text-decoration: none; border-bottom: 1px dashed grey;">当VM由一个节点迁移至另一个节点时(或者发生HA切换),此VM的数据又将由现在所在节点中的本地CVM提供服务。当读取旧的数据(存储在之前节点的CVM中)时,I/O请求将通过本地CVM转发至远端CVM。所有的写I/O都将在本地CVM中完成。DFS检测到I/O请求落在其他节点时,将在后台自动将数据移动到本地节点中,从而让所有的读I/O由本地提供服务。数据仅在被读取到才进行搬迁,进而避免过大的网络压力。</u>

个人总结: 即一般虚机读写数据都是读本地节点的硬盘,如果本地节点硬盘没有该数据,会从其他节点先拷贝过来本地节点硬盘,再为本地虚机提供访问,而不是虚机直接访问其他节点。即要贯彻本地落盘的核心思想。

5、Nutanix解决方案的优缺点

Nutanix方案优点:

1) 本地落盘策略,确保虚机访问存储速度:虚机写入的数据都在本物理节点的磁盘上,避免跨节点存储访问,确保访问速度,减轻网络压力。

2) 采用SSD磁盘作为数据缓存,大幅提升IO性能:

见上表数据,从随机的读写来看,SSD的IO及带宽性能比SATA的性能提升了约1000倍。而结合Nutanix的本地落盘策略,虚机数据写入,仅有本地的2块SSD硬盘作为数据缓存负责写入数据。

但由于单块SSD硬盘的IO比传统阵列的SATA高出1000倍,IO性能大幅提升。(相当于要超过2000块SATA硬盘做Raid,才能提供近似的IO性能)。

3)永远优先写入SSD,确保高IO性能

数据写入HDD不参与,即使本地SSD容量满了会将冷数据迁移到集群其他节点SSD,然后还是SSD进行读写,确保高IO。后续异步将SSD冷数据迁移到HDD。

4)数据冷热分层存储

冷数据存放在HDD,热数据保留在SSD,确保热点数据高IO读取。

5)设备密度高,节省机房机架空间

2U可以配置4个节点,包含了存储与计算,比以往机架式/刀片服务器与磁盘阵列的解决方案节省了大量的空间。

Nutanix方案缺点:

1)本地落盘及SSD缓存方案确保了高IO,但是硬盘的带宽得不到保证。

传统磁盘阵列,多块SATA/SAS硬盘加入Raid组,数据写入的时候,将文件拆分为多个block,分布到各个硬盘中,同个Raid组的硬盘同时参与该文件的block的读写。通过多块硬盘的并行读写,从而提升IO与带宽性能。

而Nutanix的解决方案中,单个文件的读写遵循本地落盘的策略,因此不再对文件拆分到多块硬盘进行并行读写,而只有本地节点的SSD硬盘会对该文件进行写入。

虽然SSD硬盘的IO与带宽都是SATA/SAS的数百上千倍,但是SSD对比SATA/SAS硬盘在带宽上面只有2~3倍的速率提升,而传统Raid的方式,多块硬盘并行读写,虽然IO比不上SSD,但是带宽则比单块/两块SSD带宽高出很多。

因此Nutanix的解决方案适合用于高IO需求的业务类型,但是因为它的读写原理,则决定了它不合适低IO、高带宽的业务类型。

三)行业竞争对手对比:

VMWARE EVO RAIL软件包:VMware没有涉足硬件产品,但EVO: RAIL 软件捆绑包可供合格的 EVO: RAIL 合作伙伴使用。合作伙伴转而将硬件与集成的 EVO: RAIL 软件一起出售,并向客户提供所有硬件和软件支持。

而EVO:RAIL的核心,其实就是VSphere虚拟化软件+VSAN软件的打包。

但VSAN与Nutanix最大的一个区别,就是不必须完全遵循Nutanix的本地落盘的策略。可以通过设置条带系数,将本地虚机的数据读写设置为横跨多个节点的硬盘,默认条带系数为1,最大可设置为12个,即一个虚机的数据写入,可以同时采用12个节点的SSD硬盘并行读写。

通过这种方式,VSAN可以一定程度的弥补了Nutanix方案不适用于带宽要求高,IO要求低的业务类型的缺点。

但是这种横跨物理节点的访问流量,在虚机数量众多的情况下,肯定会给网络带来压力,网络带宽可能会成为另一个瓶颈。

其次VSAN可以集成在Hypervisor层,而不需要像Nutanix在Hypervisor上面运行一个控制虚机CVM。

再次,Nutanix支持KVM、Hyper-V、ESXI等多种Hypervisor,而VSAN仅支持自家的ESXI。

其他待补充:由于暂时未对VSAN进行实际部署测试,仅停留在对其原理的研究,因此,关于VSAN的部分待后续平台上线测试完成后继续补充。

超融合基础架构(Hyper-Converged Infrastructure,或简称“HCI”)也被称为超融合架构,超融合架构起初是受到 Google、Facebook 等大型互联网公司通过软件定义技术构建大规模数据中心的启发,结合虚拟化技术和企业IT的场景,为企业实现可扩展的 IT 基础架构。

工商银行通过实施“1031”工程、信息化银行建设等工作,打造了同业领先的第四代核心银行系统,确立了信息 科技 领先优势。随着银行进入40时代,金融 科技 推动银行从生产资料、生产力和生产关系三方面打破传统、变更生产经营模式,顺势数字化、智能化、开放化的时代特征,银行不断丰富服务渠道、完善产品供给、提升服务体验和效率,同时对企业级架构建设和信息系统转型提出了新要求。

为应对内外部形势变化、满足业务创新转型发展要求,工商银行于2015年启动IT架构转型工作。充分利用分布式、云计算等新技术,基于开放平台与主机有机结合的基础架构,构建面向未来业务发展,以开放性、高容量、易扩展、成本可控、安全稳定、便捷研发为特征的全新技术体系。在技术变革的外部驱动和转型发展的内生需求互相作用下,工商银行于2017年启动智慧银行生态系统(ECOS)工程,围绕“客户服务智慧普惠、金融生态开放互联、业务运营共享联动、创新研发高效灵活、业务 科技 融合共建”的智慧银行建设目标,通过整合构建企业级业务架构,强化产品创新顶层设计与跨产品线整合,将业务架构由内部企业级延展至跨界生态,在业务架构指导下,进一步深化IT架构转型,持续优化应用架构、数据架构、技术架构、安全架构,建立金融与 科技 高度融合的全新生态体系。

1构建服务化、松耦合应用架构。 同步ECOS工程建设,工商银行引入了业界领先的持续价值提升方法论,通过分析全行发展战略、业务发展前瞻性规划和业务现状问题,体系化地开展业务领域顶层设计,从流程、产品、实体等三个维度开展业务建模,整合构建覆盖63个业务领域、100多个业务组件、近4000个任务组件的企业级业务架构,并指导推动IT系统建设。通过从业务领域、业务组件、业务对象到IT应用、IT服务、数据对象的对接落地,围绕业务对象,以数据为中心聚合服务,形成了覆盖业务产品服务、业务和数据基础服务、技术基础服务的企业级服务体系,打造了分层解耦的应用架构。建立组件化研发机制,实现业务模型的高效传导,促进统一架构语境下从业务到IT的一致性承接。在支付结算、xyk等热点领域完成组件化落地, 提炼 了19000余个IT服务,日交易量逾40亿笔,提升了产品研发的市场响应速度。

2打造主机+开放平台双核心系统。 依托自主可控、体系完备的开放平台技术,逐步从传统的以主机为核心的应用布局向主机+开放平台双核心布局转型,初步建成具备承接主机业务下移能力的开放平台核心银行系统。在国内大型银行中,率先实现银行核心业务的完整闭环处理,截至2020年上半年,已有超过90%的应用部署在开放平台。在中资银行中,率先使用自主研发的开放平台境外核心业务系统,已在欧洲、亚太区域新设机构实际投产运营。随着双核心建设不断深化,工商银行在业务量快速增长态势下,整体保持主机资源零增长,2015~2020年累计实现主机资源压降65000MIPS以上。

3形成双轮驱动的开放金融生态。 工商银行建设以“嵌入场景、输出金融”为特征的API开放平台,与以“绿色部署、敏捷上线”为特征的金融生态云,组合形成全行互联网金融场景建设“双轮驱动”的体系化品牌。目前已对外开放9大类1800多项API服务,为8800多家合作方提供服务,成为银行同业中“合作伙伴最多、服务最全面”的开放平台。已推出教育云、物业云等17款金融生态云产品,累计推广G/B端客户超过3万个,C端客户929万。

1打造多模式、高性能数据交换体系。 工商银行综合运用流数据处理、数据复制、文件共享等技术,打造了多模式、高性能的企业级数据交换平台,面向全行提供实时、准实时、分钟级、小时级等多种时效的企业级数据交换服务,并在余额变动实时提醒、实时交易反欺诈、准实时存贷款偏离度计算等应用场景取得良好成效。

2率先建成自主可控的大数据服务云。 同业率先完成传统封闭式架构(TD、Extradata)向开放分布式架构(Hadoop、MPPDB)转型,建成金融行业集群规模最大、技术生态最全、供给能力最强的大数据服务云体系,软硬件投入仅为原有产品投入的30%。全数据整合后容量超过93PB,为171个总行应用、22个业务部门和52家境内外分行及子公司提供了高效、便捷、丰富的高质量数据服务。

3着力打造企业级数据中台。 按照ECOS工程总体布局,以共享、复用、创新为目标,通过数据资产沉淀、数据服务化、数据资产运营、数据产品输出等措施,打造高效、智慧、开放、共享的标准化数据服务。面向全行1万余名数据分析师提供一站式、全链路线上BI分析能力,支撑全面风险管理、xyk风控、智慧大脑等重点场景建设,加快推进客服、运营、产品和风控等领域的智慧赋能,提升各专业数据应用创新能力。

1打造一系列企业级新技术应用平台。 工商银行依托金融 科技 研究院体系化布局新技术,建成了云计算、分布式、API平台、大数据、流数据、人工智能、物联网、区块链、生物识别、移动互联网十大技术平台,是工商银行技术领先优势的集中体现。人工智能机器学习平台集成业界主流机器学习算法,提供便捷高效、全流程建模、自学习的AI全栈平台,赋能数据智能化应用,构建工行智慧大脑。物联网金融服务平台通过智能感知万物,获取海量物联数据,扩展银行金融服务边界,创新金融服务模式,提供安全可靠的智慧物联解决方案。区块链技术平台在资金管理、供应链金融等七大业务领域构建服务实体经济的区块链应用生态,机构用户超千家,个人用户超100万,拥有近百项专利,荣获多项业界大奖。生物识别平台提供人脸、指纹等生物特征管理、安全管控、服务调度等功能,具备多生物特征统一管控、统一服务的能力。

2建成自主可控、体系完备的云计算、分布式技术体系。 云计算平台具有开放性、高容量、易扩展、智能运维等特点,从传统手工为主的虚拟化架构,转变为快速供给、稳定可靠、资源集约、运维智能的新型云计算体系架构。截至2020年8月,工商银行已实现60000+节点、34000+容器的入云规模,具备万级容器集群自动供给能力,同等业务量下服务器虚拟资源利用率平均提升2~3倍,业务高峰期系统扩容时间由几十分钟缩至秒级,2019年荣获人民银行 科技 发展奖一等奖。分布式技术平台涵盖9大类分布式技术组件,在快捷支付、纪念币预约等150余个应用广泛运用,为IT架构从单体集中式架构向分布式服务化架构转型提供了技术基础。截至2020年8月,日均交易量超过50亿笔,并发支撑能力超过10万笔/秒,重点交易平均响应时间小于10ms,有效应对“双十一”秒杀等高频、大并发交易对IT架构稳定性、业务连续性的冲击。

落实国家网络安全等级保护20要求,完善安全体系建设,加强新技术领域的安全防护,随云计算、大数据、人工智能、区块链、5G、物联网等金融 科技 发展同步规划、同步建设。研究完善以数据为中心的安全方法论和保护体系,加强个人信息和隐私的保护,“融e行”第一批完成在中国互联网金融协会的认证备案。围绕ECOS工程建设,建立多因子身份认证体系,发展手机盾、云证书、指纹、人脸、声纹、指静脉、虹膜等多种认证及生物识别技术。建设企业级反欺诈平台,通过终端、账户、行为等多维度展开智能风控,有效拦截欺诈交易,提升开放银行防御和风险处置能力。

在新一轮 科技 革命与我国转变发展方式的 历史 交汇期,工商银行将 科技 创新作为第一发展动力,积极创新和引入金融 科技 前沿技术,在全行战略、企业架构的指引下,强化IT与业务的融合。通过金融 科技 赋能经营转型,创新服务模式,拓展新生态,提高金融供给对实体经济的适配性和灵活性,为广大客户提供高价值服务,为建设具有全球竞争力的世界一流现代金融企业提供动能源泉。

以上就是关于IT基础架构和数据中心基础的区别全部的内容,包括:IT基础架构和数据中心基础的区别、超融合基础架构与x86融合架构的区别和优势解析、基金行业的IT 基础架构建设需要考虑哪些因素才能满足“云化要求”等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/langs/8853942.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-22
下一篇 2023-04-22

发表评论

登录后才能评论

评论列表(0条)

保存