理论研究漫谈云计算IT基础设施05-超融合技术

包含现代计算机、网络、通讯等信息领域的技术IT实际上有三个层次:第一层是硬件，主要指数据存储、处理和传输的主机和网络通信设备;第二层是指软件，包括可用来搜集、存储、检索、分析、应用、评估信息的各种软件，它包括我们通常所指的ERP(企业资源计划)、CRM(客户关系管理)、SCM(供应链管理)等商用管理软件，也包括用来加强流程管理的WF(工作流)管理软件、辅助分析的DW/DM(数据仓库和数据挖掘)软件等;第三层是指应用，指搜集、存储、检索、分析、应用、评估使用各种信息，包括应用ERP、CRM、SCM等软件直接辅助决策，也包括利用其它决策分析模型或借助DW/DM等技术手段来进一步提高分析的质量，辅助决策者作决策(强调一点，只是辅助而不是替代人决策)。有些人理解的IT把前二层合二为一，统指信息的存储、处理和传输，后者则为信息的应用;也有人把后二层合二为一，则划分为前硬后软。通常第三层还没有得到足够的重视，但事实上却是唯有当信息得到有效应用时IT的价值才能得到充分发挥，也才真正实现了信息化的目标。信息化本身不是目标，它只是在当前时代背景下一种实现目标比较好的一种手段。 从技术层面上看，IT技术可以分为以下三个层次: -----传感技术 这是人的感觉器官的延伸与拓展，最明显的例子是条码阅读器; -----通信技术 这是人的神经系统的延伸与拓展，承担传递信息的功能; -----计算机技术 这是人的大脑功能延伸与拓展，承担对信息进行处理的功能。 IT中容易混淆的几个概念: 数据(Data)=事实的记录，如上季度甲系列产品在华东地区销售额为120万。 信息=(Information)=数据+ 意义，如上季度甲系列产品华东地区销售额比去年同期减少了25 %。 智能(Intelligence)=信息+理解(understanding)与推理(reasoning)，如分析原因是华东地区销售单位不行，或甲系列产品进入了衰退期，还是公司整体营销活动落后，竞争者强力促销导致或是其它原因。 智慧(Wisdom) =知识的选择(Selection) 应对的行动方案可能有多种，但(战略)选择哪个。 数据、信息、智能、知识、智慧、行动与管理活动之间存在多重循环关系。IT产业 IT产业一般会有如下分类: IT基础技术的提供: IC研发、软件编写，如INTEL、MS等 。 IT技术产品化: 元器件、部件、组件制造，如精英、大众等。 IT产品集成化:计算机及外设制造商，如联想、IBM。 IT产品系统化: 解决方案、信息系统，如华为、HP。 IT产品流通:渠道、销售， 如神州数码。 IT产品服务:咨询服务和售后服务， 如蓝色快车。 IT产业舆论支持:IT类媒体， 如CCW、CCID。 IT产业第三方服务:各种需要配套的服务， 如法律咨询、PR服务。 IT后备人员培养:各种院校， 如计算机专业。 IT产业合作组织:各种协会、集会。 IT行业就业情况 我国软件人才结构呈现"橄榄型"，即软件高端人才，包括系统分析师、项目技术主管等，和低端人才，如软件编码程序员等都严重短缺，中级(端)人才过剩，长期以来形成了"缺口较大、结构失衡、需求旺盛"的状况，人才短缺与结构不合理现状并存。 就软件人员的市场需求分析，中国现在最需要的是"软硬"兼备的人才。而作为软件水平考试现在的科目而言，低层的程序员，中层的软件设计师，信息系统监理师以及高层的系统分析师和信息系统项目管理师也将成为考试中的热门科目。

人工智能拥有给人类社会带来巨大改变的潜力已成为共识。今年6月初，国家出台《互联网+人工智能三年行动方案》，提出九大工程，人工智能上升为国家战略。北京IT培训认为作为技术变革的中坚力量，百度正全力实施人工智能战略，加速技术在各行业落地，造福社会。

以汽车行业为例，王劲首提并诠释了“软件定义汽车(SDV)”的概念，他认为，未来汽车的价值将主要由以人工智能为核心的软件技术决定。而在人工智能发展过程中，优秀算法、海量数据和超强计算三位一体，这意味着百度实施人工智能战略，必将对数据中心的计算、存储、运营成本控制诸多能力提出巨大挑战。

据百度系统部高级总监刘超介绍，在过去十年间，百度的服务器集群规模增长了近50倍，在国内形成了华北、华东、华南三大集群，并初步形成全球布局的网络架构，在基础硬件、系统软件、高性能计算、制冷供电等方面，百度技术创新引领着数据中心行业的发展趋势。

如百度主导的整机柜项目“天蝎计划”，这个中国首个开源硬件项目已推出2个版本的技术规范和6项行业标准，整个行业累积部署超过30万个节点;在运营效率上，2015年百度自建数据中心的PUE达到122，位居国内第一，达到全球领先水准。

会上，刘超还发布了百度最新的自主研发成果——X-ManGPUBox，这是全球首个单机支持16块并支持最大扩展到64块GPU的服务器，将为机器学习提供强大计算能力。

刘超指出，应对海量数据存储和处理、支持千亿样本、万亿参数级别的超强计算能力、高效网络设施、数据中心布局XDN化将是未来百度数据中心的发力方向，以助力人工智能技术发展，满足各类应用需求，。

百度人工智能战略实施还需要“云+端”的支持，百度开放云总经理刘炀介绍了百度开放云以及云上的大数据与人工智能。刘炀表示，目前，在大数据和人工智能技术基础上，百度正在利用人工智能实现各种丰富应用。

百度开放云作为承载数十款用户量过亿产品和超百万企业客户的高性能计算平台，是百度将核心资源对外开放，致力于打造的智能云计算服务平台，对外提供满足各行业多层次需求的全系列云产品。以百度开放云为基石，社会各界可以充分利用百度的云计算、大数据、人工智能技术能力，实现价值共赢，获得商业成功。

其实超融合这一块，放在云计算IT基础设施里面，不算是完全合适。你说它是分布式存储，但是它同时又是硬件服务器与存储；你说它算硬件，但是它又离不开分布式存储软件。

传统的IT基础设施架构，主要分为网络、计算、存储三层架构。但随着云计算与分布式存储技术的发展以及x86服务器的标准化，逐渐出现了一种将计算、存储节点融合在一起的架构--超融合架构。超融合将三层的IT基础设施架构缩小变成了两层。

2019年11月的Gartner超融合产品魔力象限中，领导者象限有5家：Nutanix、DELL、VMware、CISCO、HPE。（其中DELL vxRail一体机里面用的分布式存储软件也是VMware的VSAN，而VMware提供的则是VSAN纯软件的解决方案）

Nutanix能够成为超融合领导者中的领导者，自然是经过市场的充分验证，得到市场的认可。而且由于其公开资料（Nutanix 圣经）比较齐备，因此我们可以通过Nutanix一窥超融合的究竟。

这边就不搬运了，可以直接搜索引擎搜索“Nutanix圣经”或“Nutanix-Bible”，可以找到相应的官方文档。

引用自NUTANIX圣经 -“Nutanix解决方案是一个融合了存储和计算资源于一体的解决方案。该方案是一个软硬件一体化平台，在2U空间中提供2或4个节点。

每个节点运行着hypervisor（支持ESXi, KVM, Hyper-V）和Nutanix控制器虚机（CVM）。Nutanix CVM中运行着Nutanix核心软件，服务于所有虚机和虚机对应的I/O *** 作。

得益于Intel VT-d（VM直接通路）技术，对于运行着VMware vSphere的Nutanix单元，SCSI控制（管理SSD和HDD设备）被直接传递到CVM。”

个人总结： 从以上官方文档可知，2U的空间可以安装2~4个Nutanix节点（每个节点相当于1台物理服务器），所以设备装机密度非常高。每个节点都安装着虚拟化软件，并且在虚拟化层之上再运行着一台Nutanix的控制虚机（CVM），该虚机主要负责不同的Nutanix节点之间控制平面的通信。单个节点中配置有SSD硬盘与HDD硬盘，替代磁盘阵列作为存储使用，单个节点有独立的CPU与内存，作为计算节点使用。

1、基础架构

以3个Nutanix节点为例，每个节点安装有Hypervisor，在Hypervisor之上运行着客户虚拟机，并且每个节点有一台Nutanix控制器虚机Controller VM，配置有2块SSD与4块HDD，通过SCSI Controller作读写。

2、数据保护

Nuntanix与传统磁盘阵列通过Raid、LVM等方式作数据保护不同，而是与一般的分布式存储一样，通过为数据建立副本，拷贝到其他Nutanix节点存放，来对数据进行保护，Nutanix将副本的数量称作RF（一般RF为2~3）。

当客户虚机写入数据“见图上1a）流程”，数据先写入到本地Nutanix节点的SSD硬盘中划分出来的OpLog逻辑区域（相当于Cache的作用），然后执行“1b）”流程，本地节点的CVM将数据从本地的SSD的OpLog拷贝到其他节点的SSD的OpLog，拷贝份数视RF而定。当其他节点CVM确定数据写入完成，会执行“1c”流程，给出应答写入完成。通过数据副本实现对数据的保护。

数据从SSD中的OpLog写入到SSD以及HDD的Extent Store区域，是按照一定的规则异步进行的，具体详见下面的部分。

3、存储分层

Nutanix数据写入以本地落盘为主要写入原则（核心原则）。

当客户虚机写入数据是，优先考虑写入本地SSD（如果SSD已用容量未达到阀值），如果本地SSD满了，会将本地SSD的最冷的数据，迁移到集群中其他节点的SSD，腾出本地SSD的空间，写入数据。本地落盘的原则，是为了尽量提高虚机访问存储数据的速度，使本地虚机不需要跨节点访问存储数据。（这点应该是与VSAN与其他分布式文件系统最大原理性区别）

当整个集群的SSD已用容量达到阀值（一般是75%），才会将每个节点的SSD数据迁移到该节点的HDD硬盘中。

SSD迁移数据到HDD，并非将所有数据全部迁移到HDD，而是对数据进行访问度冷热的排序，并且将访问较少的冷数据优先迁移到HDD硬盘中。

如SSD容量达到95%的利用率，则迁移20%的冷数据到HDD；如SSD容量达到80%，则默认迁移15%的冷数据到HDD。

4、数据读取与迁移

Nutanix圣经引用-“ <u style="text-decoration: none; border-bottom: 1px dashed grey;">I/O和数据的本地化（data locality），是Nutanix超融合平台强劲性能的关键所在。所有的读、写I／O请求都藉由VM的所在节点的本地CVM所响应处理。所以基本上不会出现虚机在一个节点，而需要访问的存储数据在另外一个物理节点的情况，VM的数据都将由本地的CVM及其所管理的本地磁盘提供服务。</u>

<u style="text-decoration: none; border-bottom: 1px dashed grey;">当VM由一个节点迁移至另一个节点时（或者发生HA切换），此VM的数据又将由现在所在节点中的本地CVM提供服务。当读取旧的数据（存储在之前节点的CVM中）时，I／O请求将通过本地CVM转发至远端CVM。所有的写I／O都将在本地CVM中完成。DFS检测到I/O请求落在其他节点时，将在后台自动将数据移动到本地节点中，从而让所有的读I/O由本地提供服务。数据仅在被读取到才进行搬迁，进而避免过大的网络压力。</u> ”

个人总结： 即一般虚机读写数据都是读本地节点的硬盘，如果本地节点硬盘没有该数据，会从其他节点先拷贝过来本地节点硬盘，再为本地虚机提供访问，而不是虚机直接访问其他节点。即要贯彻本地落盘的核心思想。

5、Nutanix解决方案的优缺点

Nutanix方案优点：

1） 本地落盘策略，确保虚机访问存储速度：虚机写入的数据都在本物理节点的磁盘上，避免跨节点存储访问，确保访问速度，减轻网络压力。

2） 采用SSD磁盘作为数据缓存，大幅提升IO性能：

见上表数据，从随机的读写来看，SSD的IO及带宽性能比SATA的性能提升了约1000倍。而结合Nutanix的本地落盘策略，虚机数据写入，仅有本地的2块SSD硬盘作为数据缓存负责写入数据。

但由于单块SSD硬盘的IO比传统阵列的SATA高出1000倍，IO性能大幅提升。（相当于要超过2000块SATA硬盘做Raid，才能提供近似的IO性能）。

3）永远优先写入SSD，确保高IO性能

数据写入HDD不参与，即使本地SSD容量满了会将冷数据迁移到集群其他节点SSD，然后还是SSD进行读写，确保高IO。后续异步将SSD冷数据迁移到HDD。

4）数据冷热分层存储

冷数据存放在HDD，热数据保留在SSD，确保热点数据高IO读取。

5）设备密度高，节省机房机架空间

2U可以配置4个节点，包含了存储与计算，比以往机架式/刀片服务器与磁盘阵列的解决方案节省了大量的空间。

Nutanix方案缺点：

1）本地落盘及SSD缓存方案确保了高IO，但是硬盘的带宽得不到保证。

传统磁盘阵列，多块SATA/SAS硬盘加入Raid组，数据写入的时候，将文件拆分为多个block，分布到各个硬盘中，同个Raid组的硬盘同时参与该文件的block的读写。通过多块硬盘的并行读写，从而提升IO与带宽性能。

而Nutanix的解决方案中，单个文件的读写遵循本地落盘的策略，因此不再对文件拆分到多块硬盘进行并行读写，而只有本地节点的SSD硬盘会对该文件进行写入。

虽然SSD硬盘的IO与带宽都是SATA/SAS的数百上千倍，但是SSD对比SATA/SAS硬盘在带宽上面只有2~3倍的速率提升，而传统Raid的方式，多块硬盘并行读写，虽然IO比不上SSD，但是带宽则比单块/两块SSD带宽高出很多。

因此Nutanix的解决方案适合用于高IO需求的业务类型，但是因为它的读写原理，则决定了它不合适低IO、高带宽的业务类型。

三）行业竞争对手对比：

VMWARE EVO RAIL软件包：VMware没有涉足硬件产品，但EVO: RAIL 软件捆绑包可供合格的 EVO: RAIL 合作伙伴使用。合作伙伴转而将硬件与集成的 EVO: RAIL 软件一起出售，并向客户提供所有硬件和软件支持。

而EVO:RAIL的核心，其实就是VSphere虚拟化软件+VSAN软件的打包。

但VSAN与Nutanix最大的一个区别，就是不必须完全遵循Nutanix的本地落盘的策略。可以通过设置条带系数，将本地虚机的数据读写设置为横跨多个节点的硬盘，默认条带系数为1，最大可设置为12个，即一个虚机的数据写入，可以同时采用12个节点的SSD硬盘并行读写。

通过这种方式，VSAN可以一定程度的弥补了Nutanix方案不适用于带宽要求高，IO要求低的业务类型的缺点。

但是这种横跨物理节点的访问流量，在虚机数量众多的情况下，肯定会给网络带来压力，网络带宽可能会成为另一个瓶颈。

其次VSAN可以集成在Hypervisor层，而不需要像Nutanix在Hypervisor上面运行一个控制虚机CVM。

再次，Nutanix支持KVM、Hyper-V、ESXI等多种Hypervisor，而VSAN仅支持自家的ESXI。

其他待补充：由于暂时未对VSAN进行实际部署测试，仅停留在对其原理的研究，因此，关于VSAN的部分待后续平台上线测试完成后继续补充。

以上就是关于IT行业的主要内容是什么全部的内容，包括:IT行业的主要内容是什么、北京IT培训分享人工智能基础设施是什么、【理论研究】漫谈云计算IT基础设施05-超融合技术等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！