linux – 分布式,并行,容错文件系统

概述有很多选择,很难知道从哪里开始.我的要求是这些： >在Linux上运行 >大多数文件的大小在5-9 MB之间.还会有大量的小型jpgs(100px x 100px). >所有文件都需要通过http提供. >冗余 – 理想情况下,它将提供类似于RAID 5的75％的空间效率(在RAID 5中,这将被计算：具有4个相同的磁盘,25％的空间用于奇偶校验=> 75％效率) >必须支持几PB的数据 >可扩展 有很多选择,很难知道从哪里开始.我的要求是这些：

>在Linux上运行
>大多数文件的大小在5-9 MB之间.还会有大量的小型jpgs(100px x 100px).
>所有文件都需要通过http提供.
>冗余 – 理想情况下,它将提供类似于RAID 5的75％的空间效率(在RAID 5中,这将被计算：具有4个相同的磁盘,25％的空间用于奇偶校验=> 75％效率)
>必须支持几PB的数据
>可扩展
>在商品硬件上运行

此外,我寻找这些品质,虽然它们不是“要求”：

>稳定,成熟的文件系统
>大量的动力和支持
>等

我想要一些关于哪个文件系统最适合给定要求的输入.我组织的一些人倾向于mogileFS,但我不相信该项目的稳定性和动力.基于我的有限研究,glusterFS和Lustre似乎得到了更好的支持……

思考？

解决方法 如果是我,我会使用glusterFS.当前版本非常可靠,我知道人们在HPC和Internet空间的某些非常大的安装中依赖于它们的生产系统.您可以根据需要通过布置组件来定制它以满足您的需求.与Lustre不同,没有专用的元数据服务器,因此最小化了中心故障点,并且更容易扩展设置.

不幸的是,我认为没有一种简单的方法可以满足你的75％标准而不会降低性能.

它确实在商用硬件上运行,但是在使用Infiniband互连时性能确实很高.幸运的是,IB的价格现在非常低.

你可能想看看Scalable Informatics的人和他们的Jackrabbit产品作为解决方案.他们在硬件上支持glusterFS,他们的解决方案的价格肯定可以与从头开始整合的成本相媲美.

总结

以上是内存溢出为你收集整理的linux – 分布式,并行,容错文件系统全部内容，希望文章能够帮你解决linux – 分布式,并行,容错文件系统所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。