hadoop完全分布式搭建

我们准备三台机器

首先我们先在主机器上在opt目录下创建soft文件

mkdir /opt/soft

把jdk和hadoop的压缩包上传到soft目录并且分别解压，重命名为jdk和hadoop

1、【配置三台机器的主机名】
vim /etc/hostname

去掉里面的内容，改成hadoop，hadoop2,hadoop3
reboot(重启生效)

 我这里分别配置的三台机器的主机名为hadoop,hadoop2,hadoop3

2、【在主机器上生成密匙】
ssh-keygen -t rsa（一直按回车）

配置三台机器免密登录
ssh-copy-id -i root@localhost

ssh-copy-id -i root@(第二台机器的ip)

ssh-copy-id -i root@(第三台机器的ip)

使用ssh ip 可以切换用户

3、【在主机器上配置jdk和hadoop】

修改profile文件

vim /etc/profile

添加一下内容：
export JAVA_HOME=/opt/soft/jdk
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/opt/soft/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 用source /etc/profile生效

java -version
hadoop version

当出现java和hadoop版本时配置成功

4、【在主机器上修改hadoop的配置文件】

进入我们解压的hadoop文件,etc目录下的hadoop目录

vim hadoop-env.sh
vim mapred-env.sh
vim yarn-env.sh

在这三个文件中添加jdk路径:
export JAVA_HOME=/opt/soft/jdk

 以下都是在configuration标签中添加

vim core-site.xml
                       
                             fs.defaultFS
                             hadoop
                          
                          
                             hadoop.tmp.dir
                             /opt/soft/hadoop/data/tmp
                          
              
  

vim hdfs-site.xml
                            
                             dfs.replication
                             3
                          
  

复制mapred-site.xml.template文件命名为：mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
                          
                         mapreduce.framework.name
                         yarn
                        
      

                                   
vim yarn-site.xml                         
                      
                         yarn.resourcemanager.hostname
                         hadoop1
                      
                      
                         yarn.nodemanager.aux-services
                         mapreduce_shuffle
                      
  
vim slaves
                主机名1
                主机名2
                主机名3
                ​​​​​​​
4、【配置hosts映射】
vim /etc/hosts

添加
ip1 主机名1
ip2 主机名2
ip3 主机名3

5、【从主机上拷贝profile,hosts,jdk,hadoop文件到另外两台机器】
scp -r /etc/profile 主机名或者IP:/etc/profile
scp -r /etc/hosts 主机名或者IP:/etc/hosts
scp -r jdk 主机名或者IP:/opt/soft/
scp -r hadoop 主机名或者IP:/opt/soft/

5、【三台机器关闭防火墙】
systemctl stop firewalld
6、【主机器格式化】
hdfs namenode -format

出现successfully表示格式化成功

最后我们启动服务

start-dfs.sh
start-yarn.sh

获者start-all.sh

用jps查看进程

 最后我们通过：ip:50070访问就行啦