全闪存分布式存储

高性能分布式闪存系统探讨

大家不会太难发现现阶段市面上卖的全闪存阵列都是基于SATA固态硬盘的。这样做的原因是NVMeSSD比SATASSD贵，SATASSD现阶段可以考虑大部分应用的性能需求。另外，其实目前的全闪存阵列手机软件并不能很好的应用到NVMeSSD上。如果一定要应用NVMeSSD，阵列手机软件一定要大规模调整，比如如何充分利用多核处理器的高并发效率，然后处理手机软件局部变量带来的性能发展瓶颈。在SATASSD上，由于SATASSD本身性能不是很高，不需要手机软件局部变量的规模调整就可以考虑应用需求。但在未来性能更高的NVMeSSD和Xpoint移动存储设备上，必须对手机软件栈进行多方面调整，才能充分利用NVMeSSD的性能。

在整个应用过程中，传统的单控阵列会遇到严重的HA问题。控制板出现常见故障时，业务流程的连续性无法保证。在传统存储阵列的设计理念中，为了更好的处理这个问题，会引入双控制板的设计理念。双控板按照高速系统总线互联，在HA监控软件的作用下，双控交换机服务项目对外开放。即使一块控制板出现常见故障，也能保证业务流程的连续性。在NVMe存储期间，IO性能越来越高。如果采用传统的双控交换机互联方式，双控交换机中间的数据库同步可能会成为严重的性能短板。所以我认为在高速存储时期，松耦合的分布式架构更适合高性能存储，按照分布式的方式可以获得业务流程的高可用性和数据信息的高可靠性。

松耦合分布式个人信息保护系统的总体框架如下图所示:

存储节点按照后端开发的高速互联网互联，聚合网络服务器中的闪存资源，生成高性能的全局闪存资源池。位于各个存储服务器上的分布式RAID手机软件会将数据信息合理的分布在几个存储连接点上。当系统出现常见故障时，无论是连接点还是磁盘，都可以根据全局资源池中的冗余数据修复常见故障数据信息。此外，当存储连接点出现常见故障时，业务流程IO服务项可以从常见故障网络服务器转换到所有正常服务器节点，从而保证业务流程的连续性。

这种分布式个人信息保护系统的设计理念与EMCIsilon存储系统有许多相似之处。按照高性能互联网的后端开发，将存储连接点互联起来，构建一个全局存储池。大的缺点是依赖于成本高，所以需要应用前、后、左端网络。

为了更好的控制成本，销售市场上流行的分布式系统都是采用一套互联网，采用多集群的方式，在多个节点之间进行缓存溢出。典型的系统是HDFS和Ceph。在硬盘存储期间，根据HDFS或Ceph的部署，我们可以获得很好的性能，并且系统具有很强的可扩展性。然而，在NVMe储存期间，这种系统遇到了挑战。如果把硬盘简单的改装成NVMeSSD，Ceph的性能并没有得到很大的提升，NVMeSSD也无法充分利用。出现这种情况的原因很简单。在具有类似Ceph的系统中，有为硬盘设计的OSD及其文件系统。这种手机软件栈对NVMeSSD的性能伤害很大。所以如果Ceph服务器端手机软件不更新，即使采用性能很强的互联网，性能也不会有很大提升。所以现阶段流行的开源分布式系统都不能很好的利用NVMeSSD，需要进行改造。

在分布式文件系统中，可以将过去广泛应用于非线性行业的SANFS与单控闪存阵列有机结合，构建高性能的分布式闪存系统。SANFS是一个基于SAN存储设备的文档系统，基本上可以在SAN存储设备上构建一个分布式的文档系统。存储架构采用标准的MDS和DS架构。MDS是数据库网络服务器，显示文档系统的元网络服务；DS是数据信息网络服务器，显示标准闭塞机设备服务项目。MDS可以使用单独的网络服务器，也可以寄生在DS上，可以在几个DS上完成多个MDS的缓存溢出。DS提供标准的SAN服务项目，可以采用标准的阵列机器和设备作为DS。SA必须适用于移动客户端。移动客户端在浏览数据信息时，首先根据MDS获取浏览数据信息的具体位置，然后立即按照带外工作中的方法从DS中读取数据。手机通过标准块机插座按照FC或iSCSI与DS及其MDS连接。

在闪存存储中，导出的插座也是一个关键的短期性能点。因此，在使用SANFS构建分布式存储时，最好采用RDMA互联技术。SANFS构建的分布式闪存系统架构如下图所示:

在高性能NVMe个人信息保护系统的基础上，利用第三方提出的SANFS构建了一个详细的分布式闪存系统，并对其性能进行了评估。评测结果表明，SANFS能够充分发挥闪存阵列的性能，在网络带宽等方面性能优异，但在浏览任何小数据块时都存在严重的性能不足。下图是互联网大数据浏览条件下文档系统的主要表现。根据结果，我们可以看到，在多文档多流的情况下，FlashRAID的性能可以充分运行。

随着高速移动存储设备的不断普及，迫切需要开发高性能的分布式闪存系统。如何充分发挥分布式闪存系统的性能，一方面取决于互联网的互联，更重要的是取决于分布式存储软件栈的提升和重构。