Hadoop集群有自动备份吗

Hadoop集群有自动备份吗,第1张

Hadoop集群有自动备份。集群配置,这里是指我们将每个服务器配置成功后,每台服务器的Hadoop并没有连接起来,需要进行配置,将Hadoop平台连接。Hadoop的配置文件分为两大类,一类是默认配置文件,一类是自定义配置文件,当用户想修改某些默认配置文件时,才需要自定义配置文件。

Hadoop部署方式的分类

Hadoop部署方式分为三种:独立模式,伪分布式模式,集群模式,其中前两种都是在单机部署。独立模式又称为单机模式,仅1个机器运行1个java进程,主要用于调试。

伪分布式也是在1个机器上运行HDFS的Namenode和DataNode、YARN的ResourceManager和NodeManager,但分别启动单独的java进程,主要用于调试。集群模式主要用于生产环境部署,会使用N台主机组成一个Hadoop集群,这种部署模式下,主节点和从节点会分开部署在不同的机器上

客户要求要回收一批hadoop集群的一批服务器,万幸namenode和resourcemanager服务没有安装在这批服务器上,但不巧的是3个journalnode节点都在这批服务器上,所以暂时先增加3个journalnode节点,等到回收服务器的时候,再把原来的journalnode节点下线,记录一下 *** 作

1修改hdfs-sitexml配置文件
原配置为:

修改为:

2分发hdfs-sitexml文件到各节点

3将原journalnode上的edits文件scp到新的journalnode节点
从hdfs-sitexml文件中的dfsjournalnodeeditsdir配置项得到edits文件存储路径,scp到新节点的相同路径,注意权限和属主要相同,可以用scp -rp来复制

4新journalnode节点启动journalnode进程

jps检查是否启动成功,如果失败就去看$HADOOP_HOME/logs下的journalnode相关的日志,讲道理应该没什么问题

5把standby(nn2)节点的namenode重启一下

6切换standby节点为active

7重启standby(nn1)节点的namenode
*** 作同5,完成后web界面应该可以看到NameNode Journal Status的journalnode已扩展完成


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zz/10934026.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-12
下一篇 2023-05-12

发表评论

登录后才能评论

评论列表(0条)

保存