当前主流分布式文件系统有哪些?各有什么优缺点？

目前几个主流的分布式文件系统除GPFS外，还有PVFS、Lustre、PanFS、GoogleFS等。
1PVFS(Parallel Virtual File System)项目是Clemson大学为了运行Linux集群而创建的一个开源项目,目前PVFS还存在以下不足：
1）单一管理节点:只有一个管理节点来管理元数据，当集群系统达到一定的规模之后，管理节点将可能出现过度繁忙的情况，这时管理节点将成为系统瓶颈;
2）对数据的存储缺乏容错机制:当某一I/O节点无法工作时，数据将出现不可用的情况;
3）静态配置:对PVFS的配置只能在启动前进行，一旦系统运行则不可再更改原先的配置。
2Lustre文件系统是一个基于对象存储的分布式文件系统，此项目于1999年在Carnegie Mellon University启动，Lustre也是一个开源项目。它只有两个元数据管理节点,同PVFS类似,当系统达到一定的规模之后，管理节点会成为Lustre系统中的瓶颈。
3PanFS(Panasas File System)是Panasas公司用于管理自己的集群存储系统的分布式文件系统。
4GoogleFS(Google File System)是Google公司为了满足公司内部的数据处理需要而设计的一套分布式文件系统。
5相对其它的文件系统，GPFS的主要优点有以下三点：
1)使用分布式锁管理和大数据块策略支持更大规模的集群系统,文件系统的令牌管理器为块、inode、属性和目录项建立细粒度的锁，第一个获得锁的客户将负责维护相应共享对象的一致性管理，这减少了元数据服务器的负担;
2)拥有多个元数据服务器,元数据也是分布式,使得元数据的管理不再是系统瓶颈;
3)令牌管理以字节作为锁的最小单位,也就是说除非两个请求访问的是同一文件的同一字节数据,对于数据的访问请求永远不会冲突

目前几个主流的分布式文件系统除GPFS外，还有PVFS、Lustre、PanFS、GoogleFS等。
1PVFS(Parallel Virtual File System)项目是Clemson大学为了运行Linux集群而创建的一个开源项目,目前PVFS还存在以下不足：
1）单一管理节点:只有一个管理节点来管理元数据，当集群系统达到一定的规模之后，管理节点将可能出现过度繁忙的情况，这时管理节点将成为系统瓶颈;
2）对数据的存储缺乏容错机制:当某一I/O节点无法工作时，数据将出现不可用的情况;
3）静态配置:对PVFS的配置只能在启动前进行，一旦系统运行则不可再更改原先的配置。
2Lustre文件系统是一个基于对象存储的分布式文件系统，此项目于1999年在Carnegie Mellon University启动，Lustre也是一个开源项目。它只有两个元数据管理节点,同PVFS类似,当系统达到一定的规模之后，管理节点会成为Lustre系统中的瓶颈。
3PanFS(Panasas File System)是Panasas公司用于管理自己的集群存储系统的分布式文件系统。
4GoogleFS(Google File System)是Google公司为了满足公司内部的数据处理需要而设计的一套分布式文件系统。
5相对其它的文件系统，GPFS的主要优点有以下三点：
1)使用分布式锁管理和大数据块策略支持更大规模的集群系统,文件系统的令牌管理器为块、inode、属性和目录项建立细粒度的锁，第一个获得锁的客户将负责维护相应共享对象的一致性管理，这减少了元数据服务器的负担;
2)拥有多个元数据服务器,元数据也是分布式,使得元数据的管理不再是系统瓶颈;
3)令牌管理以字节作为锁的最小单位,也就是说除非两个请求访问的是同一文件的同一字节数据,对于数据的访问请求永远不会冲突

目前几个主流的分布式文件系统除GPFS外，还有PVFS、Lustre、PanFS、GoogleFS等。
1PVFS(Parallel Virtual File System)项目是Clemson大学为了运行Linux集群而创建的一个开源项目,目前PVFS还存在以下不足：
1）单一管理节点:只有一个管理节点来管理元数据，当集群系统达到一定的规模之后，管理节点将可能出现过度繁忙的情况，这时管理节点将成为系统瓶颈;
2）对数据的存储缺乏容错机制:当某一I/O节点无法工作时，数据将出现不可用的情况;
3）静态配置:对PVFS的配置只能在启动前进行，一旦系统运行则不可再更改原先的配置。
2Lustre文件系统是一个基于对象存储的分布式文件系统，此项目于1999年在Carnegie Mellon University启动，Lustre也是一个开源项目。它只有两个元数据管理节点,同PVFS类似,当系统达到一定的规模之后，管理节点会成为Lustre系统中的瓶颈。
3PanFS(Panasas File System)是Panasas公司用于管理自己的集群存储系统的分布式文件系统。
4GoogleFS(Google File System)是Google公司为了满足公司内部的数据处理需要而设计的一套分布式文件系统。
5相对其它的文件系统，GPFS的主要优点有以下三点：
1)使用分布式锁管理和大数据块策略支持更大规模的集群系统,文件系统的令牌管理器为块、inode、属性和目录项建立细粒度的锁，第一个获得锁的客户将负责维护相应共享对象的一致性管理，这减少了元数据服务器的负担;
2)拥有多个元数据服务器,元数据也是分布式,使得元数据的管理不再是系统瓶颈;
3)令牌管理以字节作为锁的最小单位,也就是说除非两个请求访问的是同一文件的同一字节数据,对于数据的访问请求永远不会冲突

目前几个主流的分布式文件系统除gpfs外，还有pvfs、lustre、panfs、googlefs等。
1pvfs(parallel
virtual
file
system)项目是clemson大学为了运行linux集群而创建的一个开源项目,目前pvfs还存在以下不足：
1）单一管理节点:只有一个管理节点来管理元数据，当集群系统达到一定的规模之后，管理节点将可能出现过度繁忙的情况，这时管理节点将成为系统瓶颈;
2）对数据的存储缺乏容错机制:当某一i/o节点无法工作时，数据将出现不可用的情况;
3）静态配置:对pvfs的配置只能在启动前进行，一旦系统运行则不可再更改原先的配置。
2lustre文件系统是一个基于对象存储的分布式文件系统，此项目于1999年在carnegie
mellon
university启动，lustre也是一个开源项目。它只有两个元数据管理节点,同pvfs类似,当系统达到一定的规模之后，管理节点会成为lustre系统中的瓶颈。
3panfs(panasas
file
system)是panasas公司用于管理自己的集群存储系统的分布式文件系统。
4googlefs(google
file
system)是google公司为了满足公司内部的数据处理需要而设计的一套分布式文件系统。
5相对其它的文件系统，gpfs的主要优点有以下三点：
1)使用分布式锁管理和大数据块策略支持更大规模的集群系统,文件系统的令牌管理器为块、inode、属性和目录项建立细粒度的锁，第一个获得锁的客户将负责维护相应共享对象的一致性管理，这减少了元数据服务器的负担;
2)拥有多个元数据服务器,元数据也是分布式,使得元数据的管理不再是系统瓶颈;
3)令牌管理以字节作为锁的最小单位,也就是说除非两个请求访问的是同一文件的同一字节数据,对于数据的访问请求永远不会冲突

云计算技术的发展趋势

一、数据中心向整合化和绿色节能方向发展

目前传统数据中心的建设正面临异构网络、静态资源、管理复杂、能耗高等方面问题，云计算数据中心与传统数据中心有所不同，它既要解决如何在短时间内快速、高效完成企业级数据中心的扩容部署问题，同时要兼顾绿色节能和高可靠性要求。高利用率、一体化、低功耗、自动化管理成为云计算数据中心建设的关注点，整合、绿色节能成为云计算数据中心构建技术的发展特点。

数据中心的整合首先是物理环境的整合，包括供配电和精密制冷等，主要是解决数据中心基础设施的可靠性和可用性问题。进一步的整合是构建针对基础设施的管理系统，引入自动化和智能化管理软件，提升管理运营效率。还有一种整合是存储设备、服务器等的优化、升级，以及推出更先进的服务器和存储设备。艾默生公司就提出，整合创新决胜云计算数据中心。

兼顾高效和绿色节能的集装箱数据中心出现。集装箱数据中心是一种既吸收了云计算的思想，又可以让企业快速构建自有数据中心的产品。与传统数据中心相比，集装箱数据中心具有高密度、低PUE、模块化、可移动、灵活快速部署、建设运维一体化等优点，成为发展热点。国外企业如谷歌、微软、英特尔等已经开始开发和部署大规模的绿色集装箱数据中心。

通过服务器虚拟化、网络设备智能化等技术可以实现数据中心的局部节能，但尚不能真正实现绿色数据中心的要求，因此，以数据中心为整体目标来实现节能降耗正成为重要的发展方向，围绕数据中心节能降耗的技术将不断创新并取得突破。数据中心高温化是一个发展方向，低功耗服务器和芯片产品也是一个方向。

二、虚拟化技术向软硬协同方向发展

按照IDC的研究，2005年之前是虚拟化技术发展的第一阶段，称之为虚拟化10，从2005年到2010年时虚拟化发展的第二阶段，称之为虚拟化20，目前已经进入虚拟化25阶段，虚拟化30阶段在不久也将会到来。根据Gartner的预测，到2016年中国70%的X86企业服务器将实现虚拟化。

ArsTechnica网站上刊出的一篇文章评论到，当前的虚拟化市场当中，VMware是老大，微软Hyper-V老二，思杰Xen第三，红帽和甲骨文在争夺第四把交椅。随着服务器等硬件技术和相关软件技术的进步、软件应用环境的逐步发展成熟以及应用要求不断提高，虚拟化由于具有提高资源利用率、节能环保、可进行大规模数据整合等特点成为一项具有战略意义的新技术。

首先，随着各大厂商纷纷进军虚拟化领域，开源虚拟化将不断成熟。Gartner也指出，虽然目前开源虚拟化的市场还比较小，但到2014年底其市场份额将翻番，而且未来也会快速增长。

其次，随着虚拟化技术的发展，软硬协同的虚拟化将加快发展。在这方面，内存的虚拟化已初显端倪。

第三，网络虚拟化发展迅速。网络虚拟化可以高效地利用网络资源，具有节能成本、简化网络运维和管理、提升网络可靠性等优点。VMware和思科公司通过四年的合作，在网络虚拟化领域取得突破创新，推出了VXLAN（虚拟可扩展局域网）。VXLAN已获得多个行业领先厂商的支持。

三、大规模分布式存储技术进入创新高峰期

在云计算环境下，存储技术将主要朝着从安全性、便携性及数据访问等方向发展。分布存储的目标是利用多台服务器的存储资源来满足单台服务器不能满足的存储需求，它要求存储资源能够被抽象表示和统一管理，并且能够保证数据读写 *** 作的安全性、可靠性、性能等各方面要求。为保证高可靠性和经济性，云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，以高可靠软件来弥补硬件的不可靠，从而提供廉价可靠的海量分布式存储和计算系统。在大规模分布式存储技术中，基于块设备的分布式文件系统适用于大型的、海量数据的云计算平台，它将客户数据冗余部署在大量廉价的普通存储上，通过并行和分布式计算技术，可以提供优秀的数据冗余功能。且由于采用了分布式并发数据处理技术，众多存储节点可以同时向用户提供高性能的数据存取服务，也保证数据传输的高效性。目前国外很多大学、研究机构和公司已经或正在着手开发分布式文件系统，已经涌现出一批著名的分布式文件系统，如PVFS、GPFS、zFS、Google FS、Hadoop FS等，进一步更深入的研发也还在进行中。

除了大规模分布式存储技术，P2P存储、数据网格、智能海量存储系统等方也是海量存储发展的趋势体现。其中，P2P存储可以看做是分布式存储的一种，是一个用于对等网络的数据存储系统，旨在提供高效率、鲁棒和负载均衡的文件存取。数据网格是有机的智能单元的组合，类似于计算网格。智能海量存储系统包括主动的数据采集、数据分析、主动调整等。云计算中存储的海量数据应用将为云计算提供新的价值高点，也必将成为云计算发展的重点方向之一。

---