超融合架构(HCI)和软件定义存储(SDS)的关系

超融合架构(HCI)和软件定义存储(SDS)的关系,第1张

很简单,HCI 是一室一厅(同时扮演着客厅,书房,卧室的角色)适合小规模分支机构,从业务的角度一个应用一套系统,整合了计算,存储,网络
SDS 是四室两厅,每个房间都有自己独立的功能,适合大型企业,适合多业务场景,文件,块,对象,大数据HDFS需求
业务部门喜欢HCI,一套集群搞定,IT 运维和基础架构部门,喜欢SDC,SDS,SDN 拆分部署,计算,存储资源容易量化
HCI 的弊端是选择一个厂家的HCI,比如虚拟机是KVM就没法再选择 VSPHERE ,计算跟存储无法分开扩容,不适合30个节点以上的集群需求,实际上HCI的案例,大部分都是30节点以内一个集群,如果有大型案例,用户一般都会拆分到很多个集群去管理,SDS 比较好的厂商,一个集群200个节点很常见,比如电信全球眼,移动咪咕,这些基于SDS架构的平台,20PB 是常见容量,这些应用不适合采用 HCI

传统的IT基础设施是由网络、存储、 *** 作系统和业务系统组成。超融合架构不同于以往集中存储的建设方式,超融合架构将计算设备和存储设备融合在普通X86服务器的单一物理节点,通过服务器虚拟化和分布式存储技术运行将计算资源和存储资源提供给虚拟机。优势比较突出的有云宏超融合, 云宏超融合一体机是云宏信息根据企业特点,采用高性能多节点服务器,基于分布式存储和服务器虚拟化技术,将计算节点、存储资源和网络交换高度集成于一台2U服务器,为用户提供的硬件与软件一体,产品与服务一体的企业云解决方案。

超融合架构的优点有哪些

超融合架构与传统架构的区别主要区别还是在于分布式存储与集中式存储,以及相应的硬件/管理上,由此带来的无论是性能,还是扩展性,稳定性、可靠性,以及运维的简化,运营的成本都会有较大的差异。具体优势如下:

物理融合及管理融合:超融合架构把服务器、网络及存储进行了融合,并且搭载在统一管理平台上进行维护;而传统架构则是全部分离的。

存储架构:超融合采用分布式存储,传统架构使用集中式存储。

网络:超融合使用万兆以太网,而传统架构多使用光纤交换机。

可靠性方面:可以看出可靠性方面,超融合架构的优势非常大,但其实这里的优势都是分布式存储本身应该具备的。

性能方面:超融合在性能方面的架构优势非常明显,当然代价就是消耗计算资源,所以计算资源的消耗是检验超融合专业性的一个重要因素。

扩展性方面:超融合的架构是扩展能力强,扩容简单快速,系统复杂度不会随扩容增加而增加。

部署运维方面:相对传统架构,超融合布局,维护简单,能够在一定程度上智能运维。

超融合架构对比传统架构

哪个品牌超融合架构认可度高

这个有专业的第三方报告,国外主要nutanix,VMware,国内的可以参考最新的2019Gartner中国区超融合竞争格局报告,里面对包括SmartX在内的国内超融合主流厂商都有点评,认可度都还不错。

一、超融合是什么?

1、超融合是后虚拟化时代的一种产品形态

2000~2010年属于“前虚拟化时代” ,核心特点是:以x86服务器的广泛应用为基础,以服务器虚拟化为主线。业务层面云计算概念从提出、发展到逐渐落地,数据中心的底层IT架构也在不断升级。其中随着计算资源的密集整合,存储子系统的瓶颈越来越明显,需要一种新的技术/架构满足快速增长的需求,所以出现了软件定义数据中心概念,随后软件定义网络、软件定义存储等技术逐渐出现。

2010年左右进入“后虚拟化时代” ,底层IT架构从从服务器虚拟化向存储、网络虚拟化全面迈进。Pure Storage和Nutanix等云计算新锐公司开始进入人们的视野,从存储虚拟化入手提出超融合解决方案。

2、超融合的核心功能是分布式存储系统(存储虚拟化)和统一的资源管理平台

       超融合第一个突破是实现了存储虚拟化。Google采用GFS建立了云计算数据中心场景下的分布式存储系统;在企业端也存在IT扩容升级的需求,其中存储的扩展不像计算那么容易,原有SAN和NAS对架构设计和后期运维的要求较高。超融合是简便的存储虚拟化方案,可扩展性强。
       超融合第二个突破是实现对资源的统一管理。 超融合适用于虚拟化场景,VMware等实现对计算的虚拟化、分布式存储实现存储虚拟化、甚至可以通过NFV实现对网络的虚拟化,虚拟化之后可以通过控制面平台对资源进行灵活调配。超融合厂商不仅实现对硬件集成和虚拟化,同时提供直观、简易的配置管理工具。

3、超融合提供面向业务的一体化IT基础架构方案

数据中心IT部署的技术演进: 传统信息化架构(计算、存储、网络分立)->超大规模Scale-out架构(计算虚拟化、软件定义存储、设计部署维护较负责)->超融合?(目前有一些尝试)

企业数通IT部署的技术演进: 传统信息化架构->集成一体机(仍旧是传统分立架构,但是厂商把服务器、存储、交换机集成到一个机柜中)->超融合(以业务为中心,灵活扩展、方便维护)

4、超融合的应用场景

超融合四类典型应用:(1)VDI (2)大数据平台 (3)ROBO(4)容灾备份

桌面云/VDI :某机构一期采用7个节点,用于支撑400个VDI桌面的迁移部署;二期新增加14个XC节点,其中部分用于VDI扩容,部分用于应用服务器虚拟化,包括手机证券、网上交易及其他。

大数据平台 :国内很多把hadoop作为大数据存储(本来hadoop是做大数据计算的),超融合恰好是一个很好的存储解决方案。某机构采用8个全闪节点,其中一个核心模块量化分析。

ROBO :远程/分支机构的统一部署,特别是不同地区不同机房的全局管理,采用Prism产品作为管理界面和接口。某机构部署了120个节点。

容灾备份 :
二、超融合主要参与者及差异化?

1、DELL EMC :2015年nutanix和vmware是很好的合作伙伴,到2015年之后vmare推出vsan超融合软件,nutanix也推出了自己的虚拟化软件AHV(使用nutanix客户中33%使用AHV)。2018年开始双方的合作基本结束了。从DELL EMC本身看,对超融合的重视程度逐渐提升,未来可能更加注重大客户的拓展。

2、深信服: 深信服有自己的虚拟化产品和分布式存储系统,应该是基于开源的软件来开发的。深信服负责超融合的技术负责人是原来vmware的。深信服在产品上的主要优势,主要是包括网络虚拟化、网络安全以及管理界面比较友好。相比海外厂商,集成了网络功能尤其是安全功能是核心差异。

3、新华三: 整合了网络虚拟化的功能,新华三软件授权成本控制非常灵活,主要是通过硬件销售获利。

4、华为: 华为比较有意思,向用户首推存储系列产品,如果用户有超融合需求再推广超融合。目前华为的fusioncube还没有整合网络功能,但是如果需要的话也可以很快地整合。

5、浪潮: 跟vmware谈了一个合作,另外浪潮也在跟nutanix在讨论合作。比如银行有个项目,浪潮已经入围了,加上nutanix的软件可以当作浪潮的一个特殊型号。

6、联想: 软件实力较弱主要是OEM,跟nutanix有合作。
三、超融合未来趋势?

1、Nutanix的未来规划

nutanix规划的三个阶段:

(1)基础设施的超融合;

(2)超融合的20阶段,除了超融合之外提供管理界面,连接其他基础设施(超融合、公有云、私有云);

(3)企业云,除了做底层资源,可以做应用交付,目前也收购了一些做企业应用的项目。

2、与公有云、私有云的关系

超融合的最大竞争对手是公有云。 但是公有云存储一般是跑非结构性数据的(比如图像、视频),超融合主要面向结构化数据。另外面向C端的服务大都使用公有云,但是内部管理及部分生产系统倾向使用超融合/私有云。

超融合可以看做是私有云的一种形态。 客户如果有虚拟化的需求,一般会采用超融合。从这个角度看,在整个企业的云市场,超融合架构可能占比超过一半。就银行客户来讲,不太愿意采用阿里、腾讯的基础设施,一般会用Paas层的服务(比如百信银行,腾讯提供的大数据分析模型,),但是IT基础设施自己建设。

3、Nutanix为什么不做网络虚拟化?

网络开源软件是openswitch,后来openswitch被vmware收购了,市场上新进入者找不到合适的网络开源技术。

相比传统FC SAN架构,超融合架构有了如下显著的变化:

不再使用专有的存储硬件和网络,而是使用标准和易于维护的 x86 服务器与万兆以太网交换机;

核心是分布式存储,每个服务器就是一个存储控制器,需要说明的是,其中每个节点都需要配置SSD盘作为缓存,缓存容量远大于传统存储的易失性内存,且多节点并发带来更强的聚合性能;

逻辑上看,存储不再是由RAID构成的不同存储空间,而是一个统一可d性扩展的存储池,并且具备更强的扩展能力;

分布式存储带来的另一个好处就是在统一的资源池内性能和容量都可以按需配置,而且数据可以自动均衡;

计算虚拟化和存储部署于同一服务器节点。

通过以上架构的对比我们看到,超融合架构的变革首先是分布式存储对传统存储的替代,其他更多的优势(例如基于x86服务器构建、并发与易于扩展)都是基于这种替代而带来的。

当然,分布式存储和虚拟化这种独有的部署模式,进一步简化了用户的 IT 架构,降低了使用成本和运维难度,这些价值也大大的加速了用户对分布式存储模式的接受。

一种新架构的出现,肯定是为了解决现有架构出现的问题,所以,想了解超融合架构的技术逻辑,首先必须要知道下面几个问题:

超融合替代的是什么:传统架构;

传统架构出现了什么问题;

超融合架构的来源,以及是怎么决绝这些问题的;

一、传统架构是什么,出了什么问题;

据麦肯锡研究显示,全球的 IT 数据每年在以 40% 的速度增加中。数据正在逐步影响商业,企业通过数据的分析来做决策与管理。完成快速的分析决策和管理,就需要借助强大的数据中心。下图为传统 SAN 存储:

但是,光靠越来越快、核数越来越多的 CPU 是不够的,瓶颈在于传统存储的硬盘太慢了,CPU 大部分计算能力都空闲或者说在等待存储数据传输过来。传统存储容量和性能不具备和计算能力匹配的可扩展性,不能满足企业进行数据访问的需求。

这个问题并不是现在才有。Google 很早遇到这个问题。那么 Google 是如何做的呢?

作为一个给全世界互联网网民提供数据检索的企业,Google 考虑过 EMC、IBM,还有当年的 SUN 存储产品,但是都解决不了它的问题。无论是容量还是性能,这些公司的产品都无法满足 Google 的规模需求。于是 Google 只能自己建立一个适合自己的数据搜索的存储结构了。

Google 优秀的计算机科学家们,打破了传统的存储思维,利用服务器的本地硬盘和软件构建了一个容量和性能不断可扩展的分布式文件系统,并在其上构建了其搜索和分析的计算引擎:

不用把数据从存储端取出来,然后通过网络传输到计算端,而是将计算直接分发到存储上运行,将 “计算” 作为传输单元进行传输,这样大量的存储数据都是本地访问,不需要再跨网络上传输了,自然访问很快。于是乎,自然而然地,“计算” 和 “存储” 运行(“融合”)在了一个服务器上,这里也看到超融合架构的一个优势就是,本地访问数据,不必跨网络。

现代企业的数据量越来越大,应用越来越多,他们开始面临当年 Google 遇到的问题,CIO 要考虑怎么更高效的构建自己的计算和存储的基础架构,来满足应用的数据访问需求。

虚拟化为更容易的管理应用而生,它解决了 CPU、内存资源闲置的问题。但随着虚拟化的大规模应用,虚拟机越来越多,虚拟机在传统存储上运行却越来越慢了。“慢” 造成 “体验差”,“体验差” 成为了限制虚拟化应用的最大的瓶颈。这里面的最重要原因自然是,存储的 I/O 性能不够,大量的虚拟机和容器同时运行,I/O 的混合,使得随机读写急剧增加,传统存储的结构无法承受大量的随机 I/O。

二、超融合是怎么解决这些问题的,背后的技术机制是什么?

超融合恰恰是为了解决这个问题,才被带到了虚拟化和容器领域。同时,业内也存在不同的解决 I/O 问题的方法,我们先尝试分析下其他的解决方法:

解决方法一:在存储设备采用 SSD 做 Cache,加速 I/O。这在一定的规模下可能有效,但是存储设备的 SSD Cache 通常比例较小,不足 5% 的容量比的情况下,自然满足不了用户的热数据的缓存需求。另外,仍然无法随需扩展,所有的数据仍然要从集中的存储控制器流出,这个集中的 “收费站” 势必堵塞 “高速公路”。

解决方法二:使用服务器侧 SSD 做 Cache,加速 I/O。这种类似的解决方案,通常缺乏高可靠性软件的支撑,服务器端的 Cache 如果用做写 Cache,存在单点失效的问题,需要在多个服务器的 Cache 设备上,做副本来提供可靠性,可以说这是一个阉割版的超融合架构,将 Cache 放到服务器端,仍然使用传统存储,当 Cache 满,需要被写回传统存储的时候,仍然被传统存储的 “控制器” 限制整体性能。

我们看到,上面的两种方案都是受限于传统存储的结构。超融合存储则不一样,通过完全去掉传统存储,利用分布式文件系统来提供 “不可限量” 的性能和容量,在这个基础上,再通过 Cache 进行加速,甚至全部使用闪存(全闪存产品)来构建都是自然而然,不被限制了。

因此,超融合架构不是为了让单台服务器的存储飞快,而是为了让每增加一台服务器,存储的性能就有线性的提升,这样的存储结构才不限制企业业务的运行,并保证业务的可靠性。

正因为这种扩展性很好的共享存储,使得整个 Google 的业务得以顺畅地运转。

三、硬件的快速发展,使得超融合成为可能

另外,超融合近几年得以快速发展的原因,这要归功于硬件设备。CPU 核数越来越多,服务器的内存容量越来越大,SSD 设备和网络互联网设备越来越快,这意味着:

服务器的资源除了运行业务以外,仍然可以预留出来足够的CPU,内存资源来运行存储软件。将存储软件和业务运行到一块,既减少了设备量,减少了电力使用,本地读取也提高了 I/O 的存取效率。这在几年前是做不到的,因为 CPU 和内存太有限了。

网络互联越来越快,无论是万兆,40Gb 以太网,还是 Infiniband(无限宽带技术),使得我们的软件能够将独立的存储设备进行互连,通过分布式文件系统形成共享的存储池,供上层应用使用。

如果说 SSD 等硬件厂商让单个存储设备跑的更快,我们的软件的意义在于,让超大量的这些存储设备,一起工作,提供无止境的整体性能和容量。


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zz/13155890.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-06-13
下一篇 2023-06-13

发表评论

登录后才能评论

评论列表(0条)

保存