目前几个主流的
分布式文件系统除GPFS外,还有PVFS、Lustre、PanFS、GoogleFS等。\x0d\x0a1.PVFS(Parallel Virtual File System)项目是Clemson大学为了运行Linux集群而创建的一个开源项目,目前PVFS还存在以下不足:\x0d\x0a1)单一管理节点:只有一个管理节点来管理元
数据,当集群系统达到一定的规模之后,管理节点将可能出现过度繁忙的情况,这时管理节点将成为系统瓶颈\x0d\x0a2)对数据的存储缺乏容错机制:当某一I/O节点无法工作时,数据将出现不可用的情况\x0d\x0a3)静态配置:对PVFS的配置只能在启动前进行,一旦系统运行则不可再更改原先的配置。\x0d\x0a2.Lustre
文件系统是一个基于对象存储的分布式文件系统,此项目于1999年在Carnegie Mellon University启动,Lustre也是一个开源项目。它只有两个元数据管理节点,同PVFS类似,当系统达到一定的规模之后,管理节点会成为Lustre系统中的瓶颈。\x0d\x0a3.PanFS(Panasas File System)是Panasas公司用于管理自己的集群存储系统的分布式文件系统。\x0d\x0a4.GoogleFS(Google File System)是Google公司为了满足公司内部的数据处理需要而设计的一套分布式文件系统。\x0d\x0a5.相对其它的文件系统,GPFS的主要优点有以下三点:\x0d\x0a1)使用分布式锁管理和大数据块策略支持更大规模的集群系统,文件系统的令牌管理器为块、inode、属性和目录项建立细粒度的锁,第一个获得锁的客户将负责维护相应共享对象的一致性管理,这减少了元数据服务器的负担\x0d\x0a2)拥有多个元数据服务器,元数据也是分布式,使得元数据的管理不再是系统瓶颈\x0d\x0a3)令牌管理以字节作为锁的最小单位,也就是说除非两个请求访问的是同一文件的同一字节数据,对于数据的访问请求永远不会冲突.Ceph,GFS,HDFS。
一、 Ceph
Ceph最早起源于Sage就读博士期间的工作、成果于2004年发表,并随后贡献给开源社区。经过多年的发展之后,已得到众多云计算和存储厂商的支持,成为应用最广泛的开源分布式存储平台。
二、 GFS
GFS是google的分布式文件存储系统,是专为存储海量搜索数据而设计的,2003年提出,是闭源的分布式文件系统。适用于大量的顺序读取和顺序追加,如大文件的读写。注重大文件的持续稳定带宽,而不是单次读写的延迟。
三、 HDFS
HDFS(Hadoop Distributed File System),是一个适合运行在通用硬件(commodity hardware)上的分布式文件系统,是Hadoop的核心子项目,是基于流数据模式访问和处理超大文件的需求而开发的。该系统仿效了谷歌文件系统(GFS),是GFS的一个简化和开源版本。【感兴趣的话点击此处,了解一下】
小编建议可以到亿万克官网了解一下,亿万克将持续走在创新第一线,不断为客户提供更加优质服务,为国家信息安全和新型数据中心建设保驾护航,助力国家碳中和碳达峰步入新篇章。
评论列表(0条)