linux下常用的分布式文件系统有哪些

常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。

GFS（Google File System）

--------------------------------------

Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。。尽管Google公布了该系统的一些技术细节，但Google并没有将该系统的软件部分作为开源软件发布。

下面分布式文件系统都是类 GFS的产品。

HDFS

--------------------------------------

Hadoop 实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。 Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch，后者是一个开源的网络搜索引擎，本身也是Luene项目的一部分。Aapche Hadoop架构是MapReduce算法的一种开源应用，是Google开创其帝国的重要基石。

Ceph

---------------------------------------

是加州大学圣克鲁兹分校的Sage weil攻读博士时开发的分布式文件系统。并使用Ceph完成了他的论文。

说 ceph 性能最高，C++编写的代码，支持Fuse，并且没有单点故障依赖， 于是下载安装， 由于 ceph 使用 btrfs 文件系统， 而btrfs 文件系统需要 Linux 2634 以上的内核才支持。

可是ceph太不成熟了，它基于的btrfs本身就不成熟，它的官方网站上也明确指出不要把ceph用在生产环境中。

Lustre

---------------------------------------

Lustre是一个大规模的、安全可靠的，具备高可用性的集群文件系统，它是由SUN公司开发和维护的。

该项目主要的目的就是开发下一代的集群文件系统，可以支持超过10000个节点，数以PB的数据量存储系统。

目前Lustre已经运用在一些领域，例如HP SFS产品等。

Ceph和GFS比较，各有哪些优缺点, LPG与LNG比较各有哪些优缺点

石油产生的能量多，但排放物也多，污染环境

天然气产生的能量较煤和石油最少，但排放物最少

从地理角度来看他们都来自太阳。石油产生的能量比较大，而且可以制作很多衍生品，比如：香水，汽油等等。

天然气：作为近代的新燃料之一，热值虽然不是很高，但是它比较安全，不想水煤气，液化气来得危险。而且如果用天然气烧水，水壶的底部不会很焦黑的。

石油和天然气的优点:

燃烧值高,燃烧效率也较高,无废渣污染;可采用管道运输,运输方便而且连续可以做为化工原料用途广

缺点:贮量少,分布反围不大,勘探开采对技术要求叫高

石油和天然气

优点——便于开采、运输、使用；发热量高；天然气的燃烧会造成的污染较小。

缺点——石油的燃烧会造成较大污染。

和A400比优缺点各有哪些

Compressport越野T恤和SKINS A400 区别最大的两个地方就是 材质和编织技术， A400材质相比COMPRESSPORT压缩衣就单一了一些，这款cs越野衣多种纤维，每个部部位都根据需求特殊处理，比如脖子超软纤维，防止长时间运动摩擦面板，编织上A400相对单

npm和rubygems相比，各有哪些优缺点

1论是否全域性安装：也许和node本身有关，npm支援全域性安装或本地安装，如果是本地安装，可移植性强些，而ruby/gem，貌似没有本地安装这一概念。

2版本控制：gem支援一个包的多版本共存，如果解除安装（uninstall）时，gem会问你准备解除安装哪个版本，而npm包貌似没有这一特性。

3依赖管理：gem更好一些，解除安装被依赖的包时gem会提醒你，这大概和gem都是全域性安装，且版本控制做得更好有关。npm嘛，如果不放心，就把依赖的包放在专案里，但这样肯定会增加专案磁碟空间占用量。

人脑和计算机比较起来,各有哪些优缺点

1：无论是在复杂程度或是反映速度上，计算机都远不能和人脑相比。2：人脑拥有很多计算机不能拥有的功能，如真正的逻辑思考能力。3：无论是计算机的软体或是硬体，都是由人来制作的开发一台厉害的计算机，开发的团队一定要比计算机更厉害。

电脑计算功能强大,但是没有综合判断能力和应变能力,所执行的 *** 作都是预先设定的

GitHub，Bitbucket，Google Code 各有哪些优缺点

如果想要免费git repository，就选择bitbucket 否则就选择github，开源出来就是希望更多人关注，接近与关注者的距离，方便交流，github在这一点上无疑是最好的；现在上面的wiki、issue系统也已经相当好用了，一直在使用。 google code那种方式已

您好，我感觉的几个特点（都是分散式版本管理了）： - bitbucket：免费支援私有仓库，这一点无可比拟。它同时支援 hg/git，无论从介面还是功能上看，跟 github 比都几乎没有什么缺点（github 有的功能它全有）。 - github：除了让我感觉比较 geek 以外，真心没觉得有什么特别突出啊？（尤其跟 bitbucket 相比较） - google code: 三者中最好的 wiki 系统，很好的 issue tracker 以及 google group/gmail 的整合，而且它同时支援 svn/mercurial/git 三种版本管理。 另外 git，真的比 hg (mercurial) 好很多？同样是 DVCS，hg 从概念上非常容易啊。 在github的活跃专案大多数是跟web开发有关，其中以JavaScript、Ruby(Ruby on Rails)、NodeJS社群为主，在这些社群、专案中活跃着很多明星程式设计师，单单是因为这些已经足以吸引很多使用者选择github 而github还有一个超实用的东西：gist (:gistgithub/)，用来跟别人分享程式码片段时很好用。

开发mapreduce各有哪些优缺点

1 不适合事务/单一请求处理

MapReduce绝对是一个离线批处理系统，对于批处理资料应用得很好：MapReduce（不论是Google的还是Hadoop的）是用于处理不适合传统资料库的海量资料的理想技术。但它又不适合事务/单一请求处理。（HBase使用了来自Hadoop核心的HDFS，在其常用 *** 作中并没有使用MapReduce。）

2 不能随即读取

3 以蛮力代替索引

在索引是更好的存取机制时，MapReduce将劣势尽显。

4 low-level语言和 *** 作

“直接开始你想要的 -- 而不是展示一个演算法，解释如何工作的。” (关系型资料库的观点) -- High level（DBMS）

“展示资料存取的演算法。” (Codasyl 的观点) -- Low level（MapReduce）

5 效能问题

想想N个map例项产生M个输出档案-每个最后由不同的reduce 例项处理, 这些档案写到执行map例项机器的本地硬碟 如果N是1,000, M是500, map阶段产生500,000个本地档案 当reduce阶段开始, 500个reduce例项每个需要读入1,000档案，并用类似FTP协议把它要的输入档案从map例项执行的节点上pull取过来 假如同时有数量级为100的reduce例项执行,

中国移动云能力基座的关键技术包括：

1 分布式计算：通过将计算资源分散到多个节点上，实现高性能、高可靠的计算服务。中国移动云能力基座采用了分布式计算技术，可以实现对海量数据的快速处理，同时也能够支持大规模并发访问。

2 虚拟化技术：通过将物理的计算资源（如服务器、存储设备等）抽象成虚拟的资源，实现更加灵活的资源配置和管理。中国移动云能力基座中的虚拟化技术可以帮助客户实现快速扩容和缩容，以适应不同业务需求的变化。

3 安全技术：云计算的安全性一直是一个重要的问题，因为在云环境中，用户的数据和应用程序都会存储在云平台上。中国移动云能力基座针对这一问题，实现了多种安全技术，如网络隔离、访问控制、数据加密等，以确保用户数据的安全性。

4 自动化运维技术：云计算平台的自动化运维是提高效率、降低成本的重要手段。中国移动云能力基座通过自动化运维技术，实现了对云平台的自动扩容、自动备份、自动故障转移等，提高了系统的可靠性和稳定性。

综上所述，中国移动云能力基座的关键技术包括分布式计算、虚拟化技术、安全技术和自动化运维技术等，这些技术共同构成了一个高性能、高可靠、高安全的云计算平台。

Rook 是一个开源的云原生存储编排工具，提供平台、框架和对各种存储解决方案的支持，以和云原生环境进行本地集成。

Rook 将存储软件转变成自我管理、自我扩展和自我修复的存储服务，通过自动化部署、启动、配置、供应、扩展、升级、迁移、灾难恢复、监控和资源管理来实现。Rook 底层使用云原生容器管理、调度和编排平台提供的能力来提供这些功能。

Rook 利用扩展功能将其深度集成到云原生环境中，并为调度、生命周期管理、资源管理、安全性、监控等提供了无缝的体验。有关 Rook 当前支持的存储解决方案的状态的更多详细信息，可以参考 Rook 仓库 的项目介绍。不过目前 Rook 已经很好地提供了对 Ceph 的支持，本文简单为大家介绍如何使用 Rook 来快速搭建 Ceph 集群。

本文试验环境：

我们这里部署 release-11 版本的 Rook，部署使用的部署清单文件。从上面链接中下载 commonyaml 与 operatoryaml 两个资源清单文件：

在继续 *** 作之前，验证 rook-ceph-operator 是否处于“Running”状态：

现在 Rook Operator 处于 Running 状态，接下来我们就可以创建 Ceph 集群了。为了使集群在重启后不受影响，请确保设置的 dataDirHostPath 属性值为有效得主机路径。更多相关设置，可以查看集群配置相关文档。

创建如下的资源清单文件：(clusteryaml)

然后直接创建即可：

我们可以通过 kubectl 来查看 rook-ceph 命名空间下面的 Pod 状态，出现类似于如下的情况，证明已经全部运行了：

OSD Pod 的数量将取决于集群中的节点数量以及配置的设备和目录的数量。如果用上面我们的资源清单，则每个节点将创建一个 OSD。rook-ceph-agent 和 rook-discover 是否存在也是依赖于我们的配置的。

要验证集群是否处于正常状态，我们可以使用 Rook 工具箱 来运行 ceph status 命令查看。

Rook 工具箱是一个用于调试和测试 Rook 的常用工具容器，该工具基于 CentOS 镜像，所以可以使用 yum 来轻松安装更多的工具包。我们这里用 Deployment 控制器来部署 Rook 工具箱，部署的资源清单文件如下所示：（toolboxyaml）

然后直接运行这个 rook-ceph-tools pod：

一旦 toolbox 的 Pod 运行成功后，我们就可以使用下面的命令进入到工具箱内部进行 *** 作：

工具箱中的所有可用工具命令均已准备就绪，可满足您的故障排除需求。例如：

比如现在我们要查看集群的状态，需要满足下面的条件才认为是 健康 的：

存储

对于 Rook 暴露的三种存储类型可以查看对应的文档：

Ceph 有一个 Dashboard 工具，我们可以在上面查看集群的状态，包括总体运行状态，mgr、osd 和其他 Ceph 进程的状态，查看池和 PG 状态，以及显示守护进程的日志等等。

我们可以在上面的 cluster CRD 对象中开启 dashboard，设置 dashboardenable=true 即可，这样 Rook Operator 就会启用 ceph-mgr dashboard 模块，并将创建一个 Kubernetes Service 来暴露该服务，将启用端口 7000 进行 >

写在前面：2020年面试必备的Java后端进阶面试题总结了一份复习指南在Github上，内容详细，图文并茂，有需要学习的朋友可以Star一下！

GitHub地址： >

    我们可以将较常使用的rpm安装包归到一个文件里面制作成一个可以被系统识别的yum仓库，通过配置yum仓库指向文件可以将它设置成本地的yum源也可以是通过>

以上就是关于linux下常用的分布式文件系统有哪些全部的内容，包括:linux下常用的分布式文件系统有哪些、Ceph和GFS比较，各有哪些优缺点、中国移动云能力基座的关键技术是什么等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！