【理论研究】漫谈云计算IT基础设施05-超融合技术

其实超融合这一块，放在云计算IT基础设施里面，不算是完全合适。你说它是分布式存储，但是它同时又是硬件服务器与存储；你说它算硬件，但是它又离不开分布式存储软件。

传统的IT基础设施架构，主要分为网络、计算、存储三层架构。但随着云计算与分布式存储技术的发展以及x86服务器的标准化，逐渐出现了一种将计算、存储节点融合在一起的架构--超融合架构。超融合将三层的IT基础设施架构缩小变成了两层。

2019年11月的Gartner超融合产品魔力象限中，领导者象限有5家：Nutanix、DELL、VMware、CISCO、HPE。（其中DELL vxRail一体机里面用的分布式存储软件也是VMware的VSAN，而VMware提供的则是VSAN纯软件的解决方案）

Nutanix能够成为超融合领导者中的领导者，自然是经过市场的充分验证，得到市场的认可。而且由于其公开资料（Nutanix 圣经）比较齐备，因此我们可以通过Nutanix一窥超融合的究竟。

这边就不搬运了，可以直接搜索引擎搜索“Nutanix圣经”或“Nutanix-Bible”，可以找到相应的官方文档。

引用自NUTANIX圣经 -“Nutanix解决方案是一个融合了存储和计算资源于一体的解决方案。该方案是一个软硬件一体化平台，在2U空间中提供2或4个节点。

每个节点运行着hypervisor（支持ESXi, KVM, Hyper-V）和Nutanix控制器虚机（CVM）。Nutanix CVM中运行着Nutanix核心软件，服务于所有虚机和虚机对应的I/O *** 作。

得益于Intel VT-d（VM直接通路）技术，对于运行着VMware vSphere的Nutanix单元，SCSI控制（管理SSD和HDD设备）被直接传递到CVM。”

个人总结： 从以上官方文档可知，2U的空间可以安装2~4个Nutanix节点（每个节点相当于1台物理服务器），所以设备装机密度非常高。每个节点都安装着虚拟化软件，并且在虚拟化层之上再运行着一台Nutanix的控制虚机（CVM），该虚机主要负责不同的Nutanix节点之间控制平面的通信。单个节点中配置有SSD硬盘与HDD硬盘，替代磁盘阵列作为存储使用，单个节点有独立的CPU与内存，作为计算节点使用。

1、基础架构

以3个Nutanix节点为例，每个节点安装有Hypervisor，在Hypervisor之上运行着客户虚拟机，并且每个节点有一台Nutanix控制器虚机Controller VM，配置有2块SSD与4块HDD，通过SCSI Controller作读写。

2、数据保护

Nuntanix与传统磁盘阵列通过Raid、LVM等方式作数据保护不同，而是与一般的分布式存储一样，通过为数据建立副本，拷贝到其他Nutanix节点存放，来对数据进行保护，Nutanix将副本的数量称作RF（一般RF为2~3）。

当客户虚机写入数据“见图上1a）流程”，数据先写入到本地Nutanix节点的SSD硬盘中划分出来的OpLog逻辑区域（相当于Cache的作用），然后执行“1b）”流程，本地节点的CVM将数据从本地的SSD的OpLog拷贝到其他节点的SSD的OpLog，拷贝份数视RF而定。当其他节点CVM确定数据写入完成，会执行“1c”流程，给出应答写入完成。通过数据副本实现对数据的保护。

数据从SSD中的OpLog写入到SSD以及HDD的Extent Store区域，是按照一定的规则异步进行的，具体详见下面的部分。

3、存储分层

Nutanix数据写入以本地落盘为主要写入原则（核心原则）。
当客户虚机写入数据是，优先考虑写入本地SSD（如果SSD已用容量未达到阀值），如果本地SSD满了，会将本地SSD的最冷的数据，迁移到集群中其他节点的SSD，腾出本地SSD的空间，写入数据。本地落盘的原则，是为了尽量提高虚机访问存储数据的速度，使本地虚机不需要跨节点访问存储数据。（这点应该是与VSAN与其他分布式文件系统最大原理性区别）

当整个集群的SSD已用容量达到阀值（一般是75%），才会将每个节点的SSD数据迁移到该节点的HDD硬盘中。

SSD迁移数据到HDD，并非将所有数据全部迁移到HDD，而是对数据进行访问度冷热的排序，并且将访问较少的冷数据优先迁移到HDD硬盘中。

如SSD容量达到95%的利用率，则迁移20%的冷数据到HDD；如SSD容量达到80%，则默认迁移15%的冷数据到HDD。

4、数据读取与迁移

Nutanix圣经引用-“ <u style="text-decoration: none; border-bottom: 1px dashed grey;">I/O和数据的本地化（data locality），是Nutanix超融合平台强劲性能的关键所在。所有的读、写I／O请求都藉由VM的所在节点的本地CVM所响应处理。所以基本上不会出现虚机在一个节点，而需要访问的存储数据在另外一个物理节点的情况，VM的数据都将由本地的CVM及其所管理的本地磁盘提供服务。</u>

<u style="text-decoration: none; border-bottom: 1px dashed grey;">当VM由一个节点迁移至另一个节点时（或者发生HA切换），此VM的数据又将由现在所在节点中的本地CVM提供服务。当读取旧的数据（存储在之前节点的CVM中）时，I／O请求将通过本地CVM转发至远端CVM。所有的写I／O都将在本地CVM中完成。DFS检测到I/O请求落在其他节点时，将在后台自动将数据移动到本地节点中，从而让所有的读I/O由本地提供服务。数据仅在被读取到才进行搬迁，进而避免过大的网络压力。</u> ”

个人总结： 即一般虚机读写数据都是读本地节点的硬盘，如果本地节点硬盘没有该数据，会从其他节点先拷贝过来本地节点硬盘，再为本地虚机提供访问，而不是虚机直接访问其他节点。即要贯彻本地落盘的核心思想。

5、Nutanix解决方案的优缺点

Nutanix方案优点：

1） 本地落盘策略，确保虚机访问存储速度：虚机写入的数据都在本物理节点的磁盘上，避免跨节点存储访问，确保访问速度，减轻网络压力。

2） 采用SSD磁盘作为数据缓存，大幅提升IO性能：

见上表数据，从随机的读写来看，SSD的IO及带宽性能比SATA的性能提升了约1000倍。而结合Nutanix的本地落盘策略，虚机数据写入，仅有本地的2块SSD硬盘作为数据缓存负责写入数据。

但由于单块SSD硬盘的IO比传统阵列的SATA高出1000倍，IO性能大幅提升。（相当于要超过2000块SATA硬盘做Raid，才能提供近似的IO性能）。

3）永远优先写入SSD，确保高IO性能

数据写入HDD不参与，即使本地SSD容量满了会将冷数据迁移到集群其他节点SSD，然后还是SSD进行读写，确保高IO。后续异步将SSD冷数据迁移到HDD。

4）数据冷热分层存储

冷数据存放在HDD，热数据保留在SSD，确保热点数据高IO读取。

5）设备密度高，节省机房机架空间

2U可以配置4个节点，包含了存储与计算，比以往机架式/刀片服务器与磁盘阵列的解决方案节省了大量的空间。

Nutanix方案缺点：

1）本地落盘及SSD缓存方案确保了高IO，但是硬盘的带宽得不到保证。

传统磁盘阵列，多块SATA/SAS硬盘加入Raid组，数据写入的时候，将文件拆分为多个block，分布到各个硬盘中，同个Raid组的硬盘同时参与该文件的block的读写。通过多块硬盘的并行读写，从而提升IO与带宽性能。

而Nutanix的解决方案中，单个文件的读写遵循本地落盘的策略，因此不再对文件拆分到多块硬盘进行并行读写，而只有本地节点的SSD硬盘会对该文件进行写入。

虽然SSD硬盘的IO与带宽都是SATA/SAS的数百上千倍，但是SSD对比SATA/SAS硬盘在带宽上面只有2~3倍的速率提升，而传统Raid的方式，多块硬盘并行读写，虽然IO比不上SSD，但是带宽则比单块/两块SSD带宽高出很多。

因此Nutanix的解决方案适合用于高IO需求的业务类型，但是因为它的读写原理，则决定了它不合适低IO、高带宽的业务类型。

三）行业竞争对手对比：

VMWARE EVO RAIL软件包：VMware没有涉足硬件产品，但EVO: RAIL 软件捆绑包可供合格的 EVO: RAIL 合作伙伴使用。合作伙伴转而将硬件与集成的 EVO: RAIL 软件一起出售，并向客户提供所有硬件和软件支持。

而EVO:RAIL的核心，其实就是VSphere虚拟化软件+VSAN软件的打包。

但VSAN与Nutanix最大的一个区别，就是不必须完全遵循Nutanix的本地落盘的策略。可以通过设置条带系数，将本地虚机的数据读写设置为横跨多个节点的硬盘，默认条带系数为1，最大可设置为12个，即一个虚机的数据写入，可以同时采用12个节点的SSD硬盘并行读写。

通过这种方式，VSAN可以一定程度的弥补了Nutanix方案不适用于带宽要求高，IO要求低的业务类型的缺点。

但是这种横跨物理节点的访问流量，在虚机数量众多的情况下，肯定会给网络带来压力，网络带宽可能会成为另一个瓶颈。

其次VSAN可以集成在Hypervisor层，而不需要像Nutanix在Hypervisor上面运行一个控制虚机CVM。

再次，Nutanix支持KVM、Hyper-V、ESXI等多种Hypervisor，而VSAN仅支持自家的ESXI。

其他待补充：由于暂时未对VSAN进行实际部署测试，仅停留在对其原理的研究，因此，关于VSAN的部分待后续平台上线测试完成后继续补充。

1 超融合和裸金属是两种不同的虚拟化技术，具有各自的特点和应用场景。
2 超融合是一种将计算、存储、网络等资源集成在一起的虚拟化技术，可以在一台物理服务器上实现多个虚拟机的运行和管理。
而裸金属则是将虚拟化层去掉，直接在物理服务器上运行 *** 作系统和应用程序，具有更高的性能和可靠性。
3 超融合适用于需要灵活管理和快速部署虚拟机的场景，而裸金属则适用于对性能和隔离性要求较高的应用场景，如大数据处理和高性能计算等。

不同的超融合系统有各自架构的优缺点。
超融合系统是一种软件定义的 IT 基础架构，它可以虚拟化计算、存储和网络等硬件资源，提供简化的管理和扩展能力。超融合系统有多种实现方式，比如纯软件、一体机、云服务等。不同的超融合系统有各自的优缺点，主要取决于其架构设计、性能表现、兼容性、可靠性等方面。
目前的主流超融合系统如下：
1、Nutanix：采用分布式文件系统 NDFS，利用副本技术进行数据保护，通过开源 NOSQL 数据库 Cassandra 进行元数据管理。
2、SmartX：国产品牌，采用分布式文件系统 LSM，利用副本技术进行数据保护，通过自主研发的元数据组件进行管理，实现数据本地化和 I/O 本地化。优势是性能高。

分布式存储是什么

关于分布式存储实际上并没有一个明确的定义，甚至名称上也没有一个统一的说法，大多数情况下称作 Distributed Data Store 或者 Distributed Storage System。

其中维基百科中给 Distributed data store 的定义是：分布式存储是一种计算机网络，它通常以数据复制的方式将信息存储在多个节点中。

在百度百科中给出的定义是：分布式存储系统，是将数据分散存储在多台独立的设备上。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

尽管各方对分布式存储的定义并不完全相同，但有一点是统一的，就是分布式存储将数据分散放置在多个节点中，节点通过网络互连提供存储服务。这一点与传统集中式存储将数据集中放置的方式有着明显的区分。

超融合是什么

参考维基百科中的超融合定义：

超融合基础架构（hyper-converged infrastructure）是一个软件定义的 IT 基础架构，它可虚拟化常见“硬件定义”系统的所有元素。HCI 包含的最小集合是：虚拟化计算（hypervisor），虚拟存储（SDS）和虚拟网络。HCI 通常运行在标准商用服务器之上。

超融合基础架构（hyper-converged infrastructure）与 融合基础架构（converged infrastructure） 最大的区别在于，在 HCI 里面，无论是存储底层抽象还是存储网络都是在软件层面实现的（或者通过 hypervisor 层面实现），而不是基于物理硬件实现的。由于所有软件定义的元素都围绕 hypervisor 实现，因此在超融合基础架构上的所有实例可以联合共享所有受管理的资源。

分布式存储和超融合区别及优势？

分布式存储，它的最大特点是多节点部署， 数据通过网络分散放置。分布式存储的特点是扩展性强，通过多节点平衡负载，提高存储系统的可靠性与可用性。

超融合基础架构从定义中明确提出包含软件定义存储(SDS)，具备硬件解耦的能力，可运行在通用服务器之上。超融合基础架构与 Server SAN 提倡的理念类似，计算与存储融合，通过全分布式的架构，有效提升系统可靠性与可用性，并具备易于扩展的特性。

SMTX OS 产品架构

由于很多读者对超融合构成还比较混淆，以下以 SmartX 的超融合软件 SMTX OS 为例说明分布式存储和其他模块的关系。

其中分布式块存储，SMTX ZBS 是SMTX OS超融合软件最核心的组件。它采用全分布式架构并且是完全符合软件定义理念的。

SMTX ZBS 分布式块存储架构

除此之外，超融合基础架构有更进一步的扩展，它强调以虚拟化计算（hypervisor）为核心，以软件定义的方式整合包括虚拟化计算， 软件定义存储以及虚拟网络资源。从笔者来看超融合基础架构未来的可能性更多，可促进计算，存储，网络，安全，容灾等等 IT 服务大融合，降低IT 基础架构的复杂性，重新塑造”软件定义的数据中心”。

其实问这个问题是没有搞清楚软件定义存储、分布式存储、超融合三者的关系。超融合对存储性能的要求如下：

软件定义 – 解除硬件绑定，可通过升级拓展更丰富的功能，自动化能力高

全分布式架构 – 扩展性好，消除单点故障风险

高可靠性 – 智能的故障恢复功能，丰富的数据保护手段

高性能 – 支持多种存储介质，充分挖掘和利用新式硬件的性能

高度融合 – 架构简单并易于管理

软件定义存储(SDS)是什么 

SDS 的全称是 Software Defined Storage ，字面意思直译就是软件定义存储。关于 SDS 的定义可以参考全球网络存储工业协会（Storage Networking Industry Association，SNIA），SNIA 在 2013 正式把 软件定义存储(SDS) 列入研究对象。

SNIA 对软件定义存储(SDS) 的定义是：一种具备服务管理接口的虚拟化存储。 SDS 包括存储池化的功能，并可通过服务管理接口定义存储池的数据服务特征。另外 SNIA 还提出 软件定义存储(SDS) 应该具备以下特性：

自动化程度高 – 通过简化管理，降低存储基础架构的运维开销

标准接口 – 支持 API 管理、发布和运维存储设备和服务

虚拟化数据路径 – 支持多种标准协议，允许应用通过块存储，文件存储或者对象存储接口写入数据

扩展性 – 存储架构具备无缝扩展规模的能力，扩展过程不影响可用性以及不会导致性能下降

透明度 – 存储应为用户提供管理和监控存储的可用资源与开销

分布式存储是什么

关于分布式存储实际上并没有一个明确的定义，甚至名称上也没有一个统一的说法，大多数情况下称作 Distributed Data Store 或者 Distributed Storage System。

其中维基百科中给 Distributed data store 的定义是：分布式存储是一种计算机网络，它通常以数据复制的方式将信息存储在多个节点中。

在百度百科中给出的定义是：分布式存储系统，是将数据分散存储在多台独立的设备上。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

尽管各方对分布式存储的定义并不完全相同，但有一点是统一的，就是分布式存储将数据分散放置在多个节点中，节点通过网络互连提供存储服务。这一点与传统集中式存储将数据集中放置的方式有着明显的区分。

超融合是什么

参考维基百科中的超融合定义：超融合基础架构（hyper-converged infrastructure）是一个软件定义的 IT 基础架构，它可虚拟化常见“硬件定义”系统的所有元素。HCI 包含的最小集合是：虚拟化计算（hypervisor），虚拟存储（SDS）和虚拟网络。HCI 通常运行在标准商用服务器之上。

超融合基础架构（hyper-converged infrastructure）与 融合基础架构（converged infrastructure） 最大的区别在于，在 HCI 里面，无论是存储底层抽象还是存储网络都是在软件层面实现的（或者通过 hypervisor 层面实现），而不是基于物理硬件实现的。由于所有软件定义的元素都围绕 hypervisor 实现，因此在超融合基础架构上的所有实例可以联合共享所有受管理的资源

软件定义存储、分布式存储、超融合的区别与联系

软件定义存储(SDS) 的着重点在于存储资源虚拟化和软件定义，首先在形态上，软件定义存储(SDS)区别于传统的“硬件定义”存储，它不依赖专属的硬件，可以让存储软件运行在通用服务器上，可避免硬件绑定以及有效降低硬件采购成本；拥有标准 API 接口和自动化工具，有效降低运维难度。存储资源虚拟化，支持多种存储协议，可整合企业存储资源，提升存储资源利用率。但从定义上来说，但 软件定义存储(SDS) 从部署形式上来看，并不一定是分布式或者是集中式的，也就是说 SDS 不一定是分布式存储（虽然常见的 软件定义存储(SDS) 更多的是分布式的），SDS 存储内部有可能是单机运行的，不通过网络分散存放数据的，这种形式的软件定义存储(SDS) 的扩展性就可能有比较大的局限。

分布式存储，它的最大特点是多节点部署， 数据通过网络分散放置。分布式存储的特点是扩展性强，通过多节点平衡负载，提高存储系统的可靠性与可用性。与 软件定义存储(SDS)相反，分布式存储不一定是软件定义的，有可能是绑定硬件的，例如 IBM XIV 存储，它本质上是一个分布式存储，但实际是通过专用硬件进行交付的。那么就依然存在硬件绑定，拥有成本较高的问题。

超融合基础架构从定义中明确提出包含软件定义存储(SDS)，具备硬件解耦的能力，可运行在通用服务器之上。超融合基础架构与 Server SAN 提倡的理念类似，计算与存储融合，通过全分布式的架构，有效提升系统可靠性与可用性，并具备易于扩展的特性。

由于很多读者对超融合构成还比较混淆，以下以 SmartX 的超融合软件 SMTX OS 为例说明分布式存储和其他模块的关系。

其中分布式块存储，SMTX ZBS 是SMTX OS超融合软件最核心的组件。它采用全分布式架构并且是完全符合软件定义理念的。

除此之外，超融合基础架构有更进一步的扩展，它强调以虚拟化计算（hypervisor）为核心，以软件定义的方式整合包括虚拟化计算， 软件定义存储以及虚拟网络资源。从笔者来看超融合基础架构未来的可能性更多，可促进计算，存储，网络，安全，容灾等等 IT 服务大融合，降低IT 基础架构的复杂性，重新塑造”软件定义的数据中心”。

超融合基础架构的技术核心

超融合基础架构可以说综合了软件定义存储(SDS)，分布式存储，甚至是 Server SAN 的许多优良特性，并且不难看出这些概念中都离不开一个关键词——存储。很明显，超融合基础架构的技术核心是存储，存储承载用户数据，重要性不言而喻，另外超融合的各种高级功能（HA、在线迁移等等）都极度依赖存储能力，存储的扩展能力直接限制了超融合产品的扩展规模；存储的自身的可管理性也制约了平台的灵活性；考虑到超融合形态中，计算与存储是同一软件堆栈运行在服务器中的，它们之间是资源竞争的关系，因此在保障存储软件的稳定性和性能前提下，开销越少越好了。

最后，总结一下超融合基础架构对存储的要求，可作为考察超融合中存储能力的一些参考：

软件定义 – 解除硬件绑定，可通过升级拓展更丰富的功能，自动化能力高

全分布式架构 – 扩展性好，消除单点故障风险

高可靠性 – 智能的故障恢复功能，丰富的数据保护手段

高性能 – 支持多种存储介质，充分挖掘和利用新式硬件的性能

高度融合 – 架构简单并易于管理

---