centos7把文件存放在HDFS下

centos7把文件存放在HDFS下,第1张

复制激哪文件。

centos7中支持的磁盘格式有:1.FAT16,使用了16位的空间来表示每个扇区的配置文件;2.FAT32,采用32位二进制数记录管理的磁盘文件管理方式;3.NTFS,明迹码为网络州烂和磁盘配额、文件加密等管理安全特性设计的磁盘格式。FAT16是指使用了16位的空间来表示每个扇区的配置文件,是用于记录文件所在位置的表格,当FAT16容量超出时,所使用的簇就必须扩增,从而适应更大的磁盘空间。

随着OpenStack日渐成为开源云计算的标准软件栈,Ceph也已经成为OpenStack的首选后端存储。Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。

Ceph是一个开源的分布式文件系统。因为它还支持块存储肆敏、对象存储,所以很自然的被用做云计算框架openstack或cloudstack整个存储后端。当然也可以单独作为存储,例如部署一套集群作为对象存储、SAN存储、NAS存储等。

前三台服务器增加一块硬盘/dev/sdb实验, 创建目录并挂载到/var/local/osd{1,2,3}

规范系统主机名添加hosts文件实现集群主机名与主机名之间相互能够解析(host 文件添加主机名不要使用fqdn方式)可用 hostnamectl set-hostname [name] 设置分别打开各节点的 /etc/hosts 文件,加入这四个节点ip与名称的对应关系:

在管理节点使用ssh-keygen 生成ssh keys 发布到各节点

第一步:增加 yum配置文件(各个节点都需要增加yum源) vim /etc/yum.repos.d/ceph.repo

或阿里的ceph源

复制配置文件到其它节点和客户端

在ceph1更新软件源并安装ceph-deploy 管理工具

配置文件的默认副本数从3改成2,这样只有两个osd也能达到 active+clean 状态,添加行 osd_pool_default_size = 2

(如果网络源安装失败,手工安装epel-release 然后安装yum –yinstall cep-release再yum –y install ceph ceph-radosgw)

错误参考: https://blog.csdn.net/yenai2008/article/details/72457463

添加osd节点 (所有osd节点执行)

我们实验准备时已经创建目录/var/local/osd{id}

(用ceph-deploy把配置文件和admin密钥拷贝到所有节点,这样每次执行Ceph命令行时就无需指定monitor地址和ceph.client.admin.keyring了)

以上基本上完成了ceph存储集群的搭建。

其中: <pg_num>= 128 ,

关于创建存储池

确定 pg_num 取值是强制性的,因为不能自动计算。下面是几个常用的值:

随着 OSD 数量的增加,正确的 pg_num 取值变得更加重要,因为它显著地影响着集群的行为、以及出错时的数据持久性(即灾难性事件导致数据丢失的概率)。闭谈

创建好存储池后,你就可以用 fs new 命令创建文件系统了

ceph fs new <fs_name>cephfs_metadata cephfs_data

其裂态枝中: <fs_name>= cephfs 可自定义

在这里想起没在/etc/fstab配置ceph1、ceph2、ceph3的sdb自动挂载。

ceph在开源社区还是比较热门的,但是更多的是应用于云计算的后端存储。所以大多数在生产环境中使用ceph的公司都会有专门的团队对ceph进行二次开发,ceph的运维难度也比较大。但是经过合理的优化之后,ceph的性能和稳定性都是值得期待的。

清理机器上的ceph相关配置

可以参考内容: http://blog.51cto.com/12270625/1887648


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/tougao/12265722.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-24
下一篇 2023-05-24

发表评论

登录后才能评论

评论列表(0条)

保存