如何在docker中部署hadoop2.4集群

前期准备
l 两台linux虚拟机（本文使用redhat5，IP分别为 IP1、IP2）
l JDK环境（本文使用jdk16，网上很多配置方法，本文省略）
l Hadoop安装包（本文使用Hadoop104）
搭建目标
210作为主机和节点机，211作为节点机。
搭建步骤
1修改hosts文件
在/etc/hosts中增加：
IP1 hadoop1
IP2 hadoop2

2 实现ssh无密码登陆
21 主机（master）无密码本机登陆
ssh-keygen -t dsa -P '' -f ~/ssh/id_dsa
直接回车，完成后会在 ~/ssh/ 生成两个文件： id_dsa 和 id_dsapub 。
这两个是成对出现，类似钥匙和锁。
再把 id_dsapub 追加到授权 key 里面 ( 当前并没有 authorized_key s文件 ) ：
cat ~/ssh/id_dsapub >> ~/ssh/authorized_keys

ssh localhost hostname
还是要输入密码，一般这种情况都是因为目录或文件的权限问题，看看系统日志，确实是权限问题
ssh下的authorized_keys权限为600，其父目录和祖父目录应为755
22 无密码登陆节点机（slave）
slave上执行：
ssh-keygen -t dsa -P '' -f ~/ssh/id_dsa

生成ssh目录。
将master上的authorized_keys复制到slave上：
scp authorized_keys hadoop2:~/ssh/

实验：在master上执行
ssh hadoop2

实现无密码登陆。
3 配置Hadoop
31拷贝hadoop
将hadoop-104targz ,拷贝到usr/local 文件夹下，然后解压。
解压命令：
tar –zxvf hadoop-104targz

32查看 cat /etc/hosts
IP1 hadoop1
IP2 hadoop2

33 配置 conf/masters 和 conf/slaves
conf/masters：
1

IP1

conf/slaves：
1
2

IP2
IP2

34 配置 conf/hadoop-envsh
加入
1

export JAVA_HOME=/home/elvis/soft/jdk170_17

35 配置 conf/core-sitexml
1
2
3
4

<property>
<name>fsdefaultname</name>
<value>hdfs://IP1:9000</value>
</property>

36 配置 conf/hdfs-sitexml
加入
<property>
<name>dfs>