超融合基础架构与x86融合架构的区别和优势解析

首先，我们必须搞清楚什么是超融合架构

超融合基础架构（Hyper Converged Infrastructure，或简称“HCI”）是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且还包括备份软件、快照技术、重复数据删除、在线数据压缩等元素，而多套单元设备可以通过网络聚合起来，实现模块化的无缝横向扩展（scale-out），形成统一的资源池。

其次，超融合概念包含三个要素

使用通用硬件，具体说就是 x86 服务器，所以如果出现专有硬件的 IT 平台的就不属于超融合;

软件定义， 即 IT 服务是通过 x86 服务器里运行的软件实现的，如：分布式存储软件实现数据存储服务；

所有的 IT 服务要在一个平台下，隶属于同一个软件栈。

再次，什么是融合架构方案

融合基础架构(Converged infrastructure)是把多个信息技术（IT）组件进行融合，组成一个单一的、优化的计算解决方案。融合基础架构解决方案的组件包括服务器，数据存储设备，网络设备和IT基础设施管理，自动化和业务流程的软件。可以理解为是一种系统集成。融合系统的扩展可以只扩充计算或存储节点，二者没有直接的相互依赖关系。

市面上将存储设备，服务器，网络交换机放在一个机柜里整体交付的融合方案（如：VCE Vblock）

最后，超融合架构与融合架构的区别？

融合架构和超融合完全不是一回事，前者更多强调软件硬件预先配置和验证好，整体交付，计算或存储相互独立；而超融合架构则更多的强调虚拟计算平台和存储融合到一起，将每台服务器里面自带的硬盘组成存储池，以虚拟化的形式提供数据中心所需要的计算、网络、安全以及存储等IT基础架构。

相比传统FC SAN架构，超融合架构有了如下显著的变化：

不再使用专有的存储硬件和网络，而是使用标准和易于维护的 x86 服务器与万兆以太网交换机；

核心是分布式存储，每个服务器就是一个存储控制器，需要说明的是，其中每个节点都需要配置SSD盘作为缓存，缓存容量远大于传统存储的易失性内存，且多节点并发带来更强的聚合性能；

逻辑上看，存储不再是由RAID构成的不同存储空间，而是一个统一可d性扩展的存储池，并且具备更强的扩展能力；

分布式存储带来的另一个好处就是在统一的资源池内性能和容量都可以按需配置，而且数据可以自动均衡；

计算虚拟化和存储部署于同一服务器节点。

通过以上架构的对比我们看到，超融合架构的变革首先是分布式存储对传统存储的替代，其他更多的优势（例如基于x86服务器构建、并发与易于扩展）都是基于这种替代而带来的。

当然，分布式存储和虚拟化这种独有的部署模式，进一步简化了用户的 IT 架构，降低了使用成本和运维难度，这些价值也大大的加速了用户对分布式存储模式的接受。

在现如今，随着IT互联网信息技术的飞速发展和进步。目前大数据行业也越来越火爆，从而导致国内大数据人才也极度缺乏，下面IT培训介绍一下关于Hadoop环境中管理大数据存储技巧。

1、分布式存储

传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点，同时采用了HDFS文件系统的大规模横向扩展功能。

虽然，通常解决Hadoop管理自身数据低效性的方案是将Hadoop数据存储在SAN上。但这也造成了它自身性能与规模的瓶颈。现在，如果你把所有的数据都通过集中式SAN处理器进行处理，与Hadoop的分布式和并行化特性相悖。你要么针对不同的数据节点管理多个SAN，要么将所有的数据节点都集中到一个SAN。

但Hadoop是一个分布式应用，就应该运行在分布式存储上，这样存储就保留了与Hadoop本身同样的灵活性，不过它也要求拥抱一个软件定义存储方案，并在商用服务器上运行，这相比瓶颈化的Hadoop自然更为高效。

2、超融合VS分布式

注意，不要混淆超融合与分布式。某些超融合方案是分布式存储，但通常这个术语意味着你的应用和存储都保存在同一计算节点上。这是在试图解决数据本地化的问题，但它会造成太多资源争用。这个Hadoop应用和存储平台会争用相同的内存和CPU。Hadoop运行在专有应用层，分布式存储运行在专有存储层这样会更好。之后，利用缓存和分层来解决数据本地化并补偿网络性能损失。

3、避免控制器瓶颈(ControllerChokePoint)

实现目标的一个重要方面就是——避免通过单个点例如一个传统控制器来处理数据。反之，要确保存储平台并行化，性能可以得到显着提升。

此外，这个方案提供了增量扩展性。为数据湖添加功能跟往里面扔x86服务器一样简单。一个分布式存储平台如有需要将自动添加功能并重新调整数据。

4、删重和压缩

掌握大数据的关键是删重和压缩技术。通常大数据集内会有70%到90%的数据简化。以PB容量计，能节约数万美元的磁盘成本。现代平台提供内联(对比后期处理)删重和压缩，大大降低了存储数据所需能力。

5、合并Hadoop发行版

很多大型企业拥有多个Hadoop发行版本。可能是开发者需要或是企业部门已经适应了不同版本。无论如何最终往往要对这些集群的维护与运营。一旦海量数据真正开始影响一家企业时，多个Hadoop发行版存储就会导致低效性。我们可以通过创建一个单一，可删重和压缩的数据湖获取数据效率

6、虚拟化Hadoop

虚拟化已经席卷企业级市场。很多地区超过80%的物理服务器现在是虚拟化的。但也仍有很多企业因为性能和数据本地化问题对虚拟化Hadoop避而不谈。

7、创建d性数据湖

创建数据湖并不容易，但大数据存储可能会有需求。我们有很多种方法来做这件事，但哪一种是正确的这个正确的架构应该是一个动态，d性的数据湖，可以以多种格式(架构化，非结构化，半结构化)存储所有资源的数据。更重要的是，它必须支持应用不在远程资源上而是在本地数据资源上执行。