MFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源。
中文名:MFS
外文名:MooseFS
特 点:具有容错性
软件属性:网络分布式文件系统
常规特征:
对标准的文件 *** 作来说,mfs用起来跟其它的类unix系统类似:
1、分层次的结构(目录树)
2、存储POSIX文件属性(权限、最后访问和修改时间)
3、支持特殊文件(块和字符设备、管道以及套接字)
4、符号连接和硬连接
5、对文件系统的访问可以通过IP地址和(或者)密码进行限制
独有特征:
1、高可靠(数据的多个拷贝被存储在不同的计算机上)
2、通过附加新的计算机或者硬盘可以实现容量的动态扩展
3、删除的文件可以根据一个可配置的时间周期进行保留(一个文件系统级别的回收站)
4、不受访问和写入影响的文件连贯快照
选分布式文件系统就像选一辆车,功能相近(高可用、高性能、高可扩展性),但是总有不一样的地方。
作为老牌的开源的软件定义存储,项目始于2008年,来自欧洲的波兰华沙。目的是为了解决30W每秒的大数据处理作业。使用C语言开发,目前版本为3.0。设计理念和其他分布式文件系统大同小异。
- 高可用(High Availability),为数据提供副本,为元数据采用日志加元数据备份的方式保证数据不丢失。
- 低开销的数据安全能力(Low-cost data safety) 在使用冗余的情况下可以节省55%的空间(这点倒是很有意思)。
-可扩展性(Scalability)可以扩展到16EB,最大存储20亿个文件。
- 高性能(High performance)能做到数据的并发读写。
mfsmaster 负责存储整个文件系统的元数据。一般元数据会就近存在本地以raid1和raid1+0组成的磁盘。在设计上该服务只是一个单线程,因此需要配备主频更高的处理核心,而对核心数的要求则相对较低。这里可能存在单点的性能瓶颈。
mfschunkserver负责存储文件系统的数据,由一组服务器组成。一般使用JBOD上面做xfs文件系统。在设计的时候数据服务能够发现底层磁盘出现的问题,将数据复制到其他地方,并将该磁盘设置成损坏。moosefs是不建议底层磁盘采用raid方式,因为它检测不出raid盘坏,出现了问题。(在使用beegfs底层用raid时就有类似的问题,只有在IO的时候才发现磁盘组有问题,甚是痛苦)
chunkserver的状态有三种normal/internal rebalance/overloaded。这点和beegfs很像也是三种状态。三种状态对应的是所使用磁盘的状态,normal代表磁盘正常,internal rebalance一般在新的节点加入时出现,之后chunkserver之间会发生数据平衡。overloaded代表此时磁盘负载过重,并会向mfsmaster发出警告消息。
在区分chunkserver时moosefs引入了 label 的概念,给不同的服务器设置label,并将文件和目录设置不同的label表达式,达到控制数据流向目的。
mfsmetalogger 负责作为元数据服务器的备份,定期获取元数据服务的changelog(也可以理解为journal)和元数据,在mfsmaster出现问题的时候负责接管元数据服务。
mfsmount负责做客户端工作,同mfsmaster获得元数据,同mfschunkserver获得数据。数据块的最大为64MB。
内部的文件完整性检查使用hash算法的方式。
架构设计上lizardfs作为moosefs的一个分支基本是一致的。和HDFS也很神似。
支持节点加入之后的 数据均衡 ,和节点损坏之后的 自动恢复, 自动15分钟内1TB的恢复能力 。
能够为不同的 文件以及目录 选择数据存储的节点。
提供 缓存存储 。它是一个提升性能的手段,使得存储资源可以合理利用。
接口方面,文件提供的接口兼容 POSIX接口 ,提供原生的客户端 FUSE和Windows (提供原生客户端的目的可以考虑功能,但主要是性能方面的要求)。
数据保护方面,底层存储提供的数据保护,支持 纠删码 和默认为 2的数据副本 。
访问控制方面支持,原生的Unix权限和访控列表(ACL)。
支持 快照 ,快照是一些备份机制的基础。
回收站功能 ,防止数据被误删。
提供 基于目录的配额 。
IO由多线程并发执行。
目前提供两个版本 普通版 和 专业版。 普通版使用(GPLv2)许可,专业版面向的是企业用户提供了其他的一些特性(windows客户端、元数据高可用、以及纠删码),这些特性旨在提高系统的稳定性和可靠性。目前现在很多分布式厂商也采用类似的玩法,不如beegfs开源了自己的版本,但在如windows客户端等一些功能上采用商用的许可证。
宣传比较多的为大数据提供存储。多分布在欧洲。
官方网站:https://moosefs.com
rfs 根文件系统:Root File System =>RFS。根文件系统也是一种“文件系统”,可以认为是一种“特殊的”“文件系统”,为什么是叫“特殊的”呢?是因为这种“根”“文件系统”承载着某些“特殊的功能”(其实“文件系统”相同的话,所具备的功能都是一样的),那就是“ *** 作系统”可能需要通过某种“布局”来管理相关设备的,诸如软盘设备、硬盘设备、虚拟磁盘设备等等,这里可能就是用了一种已被定义好了“数据结构”的“布局”,即“文件系统”,而出现的“根文件系统”呢可能是用来担当主要或重要角色。MSC前置机可以实现计费本地采集、存储、实现向计费中心快速安全传送的功能,优化计费网络结构及链路的稳定性,解决计费传送的安全等问题。对计费采集过程的智能管理。如链路控制,通过MSC前置机给计费中心提供对MSC中计费数据生成情况的查询和控制等。还可以实现计费的部分预处理功能。如计费文件完整性检查,计费数据过滤、筛选、分类等等。
CSS(层叠样式表)层叠样式表是一种用来表现HTML(标准通用标记语言的一个应用)或XML(标准通用标记语言的一个子集)等文件样式的计算机语言。CSS目前最新版本为CSS3,是能够真正做到网页表现与内容分离的一种样式设计语言。相对于传统HTML的表现而言,CSS能够对网页中的对象的位置排版进行像素级的精确控制,支持几乎所有的字体字号样式,拥有对网页对象和模型样式编辑的能力,并能够进行初步交互设计,是目前基于文本展示最优秀的表现设计语言。CSS能够根据不同使用者的理解能力,简化或者优化写法,针对各类人群,有较强的易读性。
DSS 决策支持系统(Decision Support System ,简称DSS)是辅助决策者通过数据、模型和知识,以人机交互方式进行半结构化或非结构化决策的计算机应用系统
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)