当前主流分布式文件系统有哪些?各有什么优缺点?

当前主流分布式文件系统有哪些?各有什么优缺点?,第1张

目前几个主流的分布式文件系统除GPFS外,还有PVFS、Lustre、PanFS、GoogleFS等。
1PVFS(Parallel Virtual File System)项目是Clemson大学为了运行Linux集群而创建的一个开源项目,目前PVFS还存在以下不足:
1)单一管理节点:只有一个管理节点来管理元数据,当集群系统达到一定的规模之后,管理节点将可能出现过度繁忙的情况,这时管理节点将成为系统瓶颈;
2)对数据的存储缺乏容错机制:当某一I/O节点无法工作时,数据将出现不可用的情况;
3)静态配置:对PVFS的配置只能在启动前进行,一旦系统运行则不可再更改原先的配置。
2Lustre文件系统是一个基于对象存储的分布式文件系统,此项目于1999年在Carnegie Mellon University启动,Lustre也是一个开源项目。它只有两个元数据管理节点,同PVFS类似,当系统达到一定的规模之后,管理节点会成为Lustre系统中的瓶颈。
3PanFS(Panasas File System)是Panasas公司用于管理自己的集群存储系统的分布式文件系统。
4GoogleFS(Google File System)是Google公司为了满足公司内部的数据处理需要而设计的一套分布式文件系统。
5相对其它的文件系统,GPFS的主要优点有以下三点:
1)使用分布式锁管理和大数据块策略支持更大规模的集群系统,文件系统的令牌管理器为块、inode、属性和目录项建立细粒度的锁,第一个获得锁的客户将负责维护相应共享对象的一致性管理,这减少了元数据服务器的负担;
2)拥有多个元数据服务器,元数据也是分布式,使得元数据的管理不再是系统瓶颈;
3)令牌管理以字节作为锁的最小单位,也就是说除非两个请求访问的是同一文件的同一字节数据,对于数据的访问请求永远不会冲突

分布式存储系统,是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。

扩展资料:

分布式存储,集中管理,在这个方案中,共有三级:

1、上级监控中心:上级监控中心通常只有一个,主要由数字矩阵、认证服务器和VSTARClerk软件等。

2、本地监控中心:本地监控中心可以有多个,可依据地理位置设置,或者依据行政隶属关系设立,主要由数字矩阵、流媒体网关、iSCSI存储设备、VSTARRecorder软件等组成;音视频的数据均主要保存在本地监控中心,这就是分布式存储的概念。

3、监控前端:主要由摄像头、网络视频服务器组成,其中VE4000系列的网络视频服务器可以带硬盘,该硬盘主要是用于网络不畅时,暂时对音视频数据进行保存,或者需要在前端保存一些重要数据的情况。

参考资料来源:百度百科-分布式存储系统

参考资料来源:百度百科-分散存储

什么是分布式存储

分布式存储是一种数据存储技术,它通过网络使用企业中每台机器上的磁盘空间,这些分散的存储资源构成了虚拟存储设备,数据分布存储在企业的各个角落。

分布式存储系统,可在多个独立设备上分发数据。传统的网络存储系统使用集中存储服务器来存储所有数据。存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,无法满足大规模存储应用的需求。分布式网络存储系统采用可扩展的系统结构,使用多个存储服务器共享存储负载,利用位置服务器定位存储信息,不仅提高了系统的可靠性,可用性和访问效率,而且易于扩展。

分布式存储的优势

可扩展:分布式存储系统可以扩展到数百甚至数千个这样的集群大小,并且系统的整体性能可以线性增长。

低成本:分布式存储系统的自动容错和自动负载平衡允许在低成本服务器上构建分布式存储系统。此外,线性可扩展性还能够增加和降低服务器的成本,并实现分布式存储系统的自动 *** 作和维护。

高性能:无论是针对单个服务器还是针对分布式存储群集,分布式存储系统都需要高性能。

易用性:分布式存储系统需要提供方便易用的界面。此外,他们还需要拥有完整的监控和 *** 作工具,并且可以轻松地与其他系统集成。

杉岩分布式统一存储USP

利用分布式技术将标准x86服务器的HDD、SSD等存储介质抽象成资源池,对上层应用提供标准的块、文件、对象访问接口,

同时提供清晰直观的统一管理界面,减少部署和运维成本,满足高性能、高可靠、高可扩展性的大规模存储资源池的建设需求。

分布式存储系统,是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。

扩展资料:

分布式存储,集中管理,在这个方案中,共有三级:

1、上级监控中心:上级监控中心通常只有一个,主要由数字矩阵、认证服务器和VSTARClerk软件等。

2、本地监控中心:本地监控中心可以有多个,可依据地理位置设置,或者依据行政隶属关系设立,主要由数字矩阵、流媒体网关、iSCSI存储设备、软件等组成;音视频的数据均主要保存在本地监控中心,这就是分布式存储的概念。

3、监控前端:主要由摄像头、网络视频服务器组成,其中VE4000系列的网络视频服务器可以带硬盘,该硬盘主要是用于网络不畅时,暂时对音视频数据进行保存,或者需要在前端保存一些重要数据的情况。

-分布式存储系统

-分散存储

集中式数据处理优点:

1、部署结构简单。

2、数据容易备份,只需要把中央计算机上的数据备份即可。

3、不易感染病毒,只要对中央计算机做好保护,终端一般不需要外接设备,感染病毒的几率很低。

4、总费用较低,中央计算机的功能非常强大,终端只需要简单、便宜的设备。

缺点:

1、中央计算机需要执行所有的运算,当终端很多时,会导致响应速度变慢。

2、如果终端用户有不同的需要,要对每个用户的程序和资源做单独的配置,在集中式系统上做起来比较困难,而且效率不高。

分布式数据处理优点:

1、分布式网络中的每台机器都能存储和处理数据,降低了对机器性能的要求,所以不必购买昂贵的高性能机器,这大大降低了硬件投资成本。

2、扩展性极佳。在当前系统存储或计算能力不足时,可以简单地通过增加廉价PC机的方式来增加系统的处理和存储能力。

3、处理能力极强。庞大的计算任务可以在合理分割后由分布式网络中的机器并行地处理

缺点

1、计算程序全负荷运行时仍会对计算机的各个部件造成一定压力。

2、对项目方来说,参加分布式计算的志愿者不是项目方自己的人员,不是全体可信任,因此必须引入一定的冗余计算机制,才能防止计算错误、恶意作弊等。

扩展资料

分布式计算为信息不只分布在一个软件或计算机上,而是分布于多个软件上,可以用多台或一台计算机同时运行若干个软件,通过网络实现信息的共享。与其他算法相比,分布式算法有明显的优势:

1、共享资源更加方便。

2、能够实现计算负载的平衡,用多台计算机同时处理任务。

3、可以根据实际需要合理选择适当的计算机运行该程序。计算机分布式计算的灵魂是平衡负载和共享资源。分布式计算具有高效、快捷、准确的优势

参考资料来源:百度百科-集中式系统

参考资料来源:百度百科-分布式数据处理

参考资料来源:百度百科-分布式计算


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zz/13038092.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-29
下一篇 2023-05-29

发表评论

登录后才能评论

评论列表(0条)

保存