存储系统概述

存储系统概述

存储系统其实由三个部分组成：介质（硬盘，闪存，SCM等），控制器硬件（CPU，内存，主板），系统软件。

存储的核心一直都是：系统软件。

DELL/EMC既不生产控制器硬件：CPU，内存，主板；也不生产介质：硬盘和闪存。作为世界上最大的存储公司EMC（其实硬件就是X86存储服务器和普通的硬盘/闪存盘），真正的核心是软件，存储系统软件，也就是广义的“文件系统”。

江湖中的传说：“编译器和 *** 作系统是计算机科学的皇后”。系统软件中最核心的是 *** 作系统，包括五大功能：1.设备管理 2.内存管理 3. 进程调度 4.文件系统 5.系统调用。而存储系统的核心其实就是 *** 作系统中的广义“文件系统”，以解决数据存储的，名字空间，地址空间和存取性能等问题。文件系统跟 *** 作系统中的其他部件（内存管理，设备管理）紧密耦合，因此对开发者 *** 作系统原理，语义和算法方面的要求相当高。

系统软件和应用软件的差别在于：

应用软件是业务逻辑和应用逻辑驱动的，而系统软件是语义、协议和算法驱动的。

应用软件正常运行的前提是假设下层的系统软件是正常和可靠的；但是系统软件，面临上层各种各样的应用模式，下层随时可能出故障的子系统和硬件，几乎不能做任何假设。保证系统可靠性和高可用的前提是有相当高的容错性，才能容忍各种故障的同时尽可能对应用系统透明，这是系统软件开发的原则和目标。

存储系统总体来分，可以分为：块存储，对象存储和文件存储。

相对实现难度较大的是：文件存储系统。因为只有文件存储能够满足多个计算节点同时修改和访问共享的非结构化数据。 按照数据组织来划分，参照中国2017～2018年数据组织来看，其实文件存储在整个存储空间中占有超过60%的空间。因为绝大多数的数据是非结构化数据，而且需要共享，因此需要存储在文件存储系统上。

文件存储系统是所有存储系统中难度最高的，是因为文件存储的访问协议，语义比块存储（Block）和对象（Object）要复杂的多，多客户端同时共享数据，带来的缓存一致性和并发访问压力等问题要比其他两类存储难解决很多。

既然市场空间这么大，理论上应该有很多公司做这个吧？但是事实上有几个有意思的现象值得思考：

1.文件存储领域，历史上包括现在最闪光的四个商业化公司：Lustre（2001年），ISILON（2001年），Elastifile，WekaIO 号称四小龙，都不是大公司。

ISILON 2010年被EMC 26亿美元收购，ElastiFile 2019年被Google收购，WekaIO传说说很快会被XX收购（既然官方没确认，我们就不传谣了），Lustre众所周知几经转手，先是被Sun Microsystems收购，转手Xyratex, 进入Seagate，进而通过Whamcloud进入Intel，再到前年卖给DDN。

除了四小龙之外：还有两个后来被Redhat收购的知名开源分布式存储公司：

Inktank公司的CEPH（2014年被RedHat收购）

Gluster公司的GlusterFS（2011年被RedHat收购）

笔者曾亲身经历了Sun 收购 Lustre和EMC 收购ISILON，非常遗憾的是我在大公司的时候，所在的项目组作为正规军总被外部名不见经传的小公司打败和完虐，这让我一度非常郁闷和禁不住思考：EMC，Google，以及当年的Sun等大公司财力雄厚，人才众多，为啥自己没有做出来令世界惊艳的分布式文件系统，反而优秀的产品却都来自这些当年名不见经传的公司呢？今天我总结的答案是：人、创造力、公司氛围和环境。（个人观点，不一定正确）

今天的国内存储领域，阿里云的高性能文件存储系统是IBM的GPFS。国内公司中除了华为，曙光自研占比高一点之外，浪潮AS13000，华三X10000，还有极道的ANNA其实都是师出同源，从一款开源软件CEPH 改造出来的。

2.为啥国内做文件存储的公司不多呢？其实国内存储这个赛道的创业公司不少，超融合，分布式块存储，分布式对象存储公司可不少，甚至非常多，为啥反而做文件的不多呢？原因很简单，国内多数的存储创业公司是以开源软件为基础快速封装商业化版本，但是很不幸，因为文件存储的研发难度大，开源的文件存储系统很少，也多不成熟，因此研发产品门槛高，开发周期长，这是很多创业公司不选择去做文件存储的原因。