在已有hadoop集群基础上copy-Hadoop集群

在已有hadoop集群基础上copy-Hadoop集群 条件：1.利用xhell连接虚拟机，进行文件传输和环境的搭建；共需 6 个节点 首先更改集群二的用户名

[root@localhost ~]# hostnamectl set-hostname dsw01
[root@localhost ~]# exit
#重复更改三台，重新连接虚拟机，名字就改好了

对集群二的hosts和hostname文件进行修改

vim /etc/hosts  #集群二3个节点的ip和用户名 
例：10.10.10.10 hostname01
	   10.10.10.11 hostname02
	   10.10.10.12 hostname03
vim /etc/hostname #写入每个节点的用户名

步骤正式开始

1.打包 集群1 第一个节点的Hadoop文件夹(这里以我的目录作为演示) 1）压缩/opt/文件夹到根目录下的software文件夹里

tar -zcvf 打包后生成的文件名全路径 要打包的目录

2）将刚刚的压缩包拖拽到本地目录，再将其上传到 集群2 的第一个节点（dsw01）的 /software 文件夹，运行解压命令

tar -zxvf /software/opt.tar.gz /

2、接下来就是对配置文件的修改 1）执行vim /etc/profile命令，直接复制集群1的配置内容到新的节点

执行source /etc/profile 命令 刷新环境变量

#测试jdk是否安装成功
[root@localhost software]# java -version
[root@localhost software]# java
[root@localhost software]# javac

#将配置好的jdk远程发送给其他两个虚拟机。
[root@localhost opt]# scp -r /opt/jdk1.8.0_181 root@192.168.8.191:/opt/
#将其他两台虚拟机的环境变量配置一下：
[root@localhost opt]# scp /etc/profile root@192.168.8.192:/etc/
#刷新环境变量

2）配置ssh免密登录（有时间我会再写一篇专门的文章，并将链接放在这） 3）进入以下路径，做一些配置修改 hadoop-2.7.6/etc/hadoop/

[root@hd01 opt]# cd /opt/hadoop-2.7.6/etc/hadoop/
[root@hd01 hadoop]# ll
#编辑hadoop-env.sh  配置自己jdk路径
[root@hd01 hadoop]# vim hadoop-env.sh

#	编辑core-site.xml ，配置ip，端口，读取文件缓冲大小
编辑hdfs-site.xml，配置副本数等
修改mapred-site.xml.template文件名字
[root@hd01 hadoop]# cp mapred-site.xml.template mapred-site.xml
编辑mapred-site.xml，配置框架名字，历史记录组件等
[root@hd01 hadoop]# vim mapred-site.xml
编辑yarn-site.xml ，配置resourcemanager的相关信息
编辑slaves， 将三台虚拟机的主机名添加进去

将配置好的hadoop-2.7.6 发送给其他节点

4)19. 在第一台虚拟机格式化 namenode

[root@hd01 hadoop]# hadoop namenode -format
#启动hadoop服务（在第一台虚拟机启动服务）
[root@hd01 hadoop]# start-all.sh

#关闭三台虚拟机的防火墙和 windows的防火墙。
[root@hd01 hadoop]# systemctl stop firewalld
[root@hd01 hadoop]# systemctl disable firewalld

[root@hd02 hadoop]# systemctl stop firewalld
[root@hd02 hadoop]# systemctl disable firewalld

[root@hd03 hadoop]# systemctl stop firewalld
[root@hd03 hadoop]# systemctl disable firewalld

修改文件夹下所有文件的权限

sudo chmod -R 777 filename
到此，Hadoop就搭建好了