Hadoop集群有自动备份。集群配置,这里是指我们将每个服务器配置成功后,每台服务器的Hadoop并没有连接起来,需要进行配置,将Hadoop平台连接。Hadoop的配置文件分为两大类,一类是默认配置文件,一类是自定义配置文件,当用户想修改某些默认配置文件时,才需要自定义配置文件。
Hadoop部署方式的分类
Hadoop部署方式分为三种:独立模式,伪分布式模式,集群模式,其中前两种都是在单机部署。独立模式又称为单机模式,仅1个机器运行1个java进程,主要用于调试。
伪分布式也是在1个机器上运行HDFS的Namenode和DataNode、YARN的ResourceManager和NodeManager,但分别启动单独的java进程,主要用于调试。集群模式主要用于生产环境部署,会使用N台主机组成一个Hadoop集群,这种部署模式下,主节点和从节点会分开部署在不同的机器上
客户要求要回收一批hadoop集群的一批服务器,万幸namenode和resourcemanager服务没有安装在这批服务器上,但不巧的是3个journalnode节点都在这批服务器上,所以暂时先增加3个journalnode节点,等到回收服务器的时候,再把原来的journalnode节点下线,记录一下 *** 作1修改hdfs-sitexml配置文件
原配置为:
修改为:
2分发hdfs-sitexml文件到各节点
3将原journalnode上的edits文件scp到新的journalnode节点
从hdfs-sitexml文件中的dfsjournalnodeeditsdir配置项得到edits文件存储路径,scp到新节点的相同路径,注意权限和属主要相同,可以用scp -rp来复制
4新journalnode节点启动journalnode进程
jps检查是否启动成功,如果失败就去看$HADOOP_HOME/logs下的journalnode相关的日志,讲道理应该没什么问题
5把standby(nn2)节点的namenode重启一下
6切换standby节点为active
7重启standby(nn1)节点的namenode
*** 作同5,完成后web界面应该可以看到NameNode Journal Status的journalnode已扩展完成
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)