hadoop--完全分布式部署

hadoop--完全分布式部署

文章目录

• • 1.安装环境服务部署规划
  • 2. 进入目录
  • 3.上传安装包并解压
  • 4.修改配置文件
  • • 4.1.修改hadoop-env.sh
    • 4.2.修改 core-site.xml
    • 4.3.修改 hdfs-site.xml
    • 4.4.修改 mapred-site.xml
    • 4.5.修改 yarn-site.xml
    • 4.6.修改slaves
    • 4.7.配置hadoop的环境变量
    • 4.8.分发文件到hadoop02、hadoop03服务器
    • 4.9.hadoop02、hadoop03服务器配置hadoop的环境变量
  • 5. 启动
  • • 5.1.初始化
    • 5.2.启动
    • 5.3.停止
    • 5.4.测试
    • 5.5.停止服务
    • 5.6.访问浏览器
  • 6. 补充：可以按照组件启动服务

1.安装环境服务部署规划 服务器IP192.168.65.101192.168.65.102192.168.65.103NameNodeHDFSSecondary NameNodeDataNodeDataNodeDataNodeYARNResourceManagerNodeManagerNodeManagerNodeManagerMapReduceJobHistoryServer

先在第一台机器hadoop01进行部署

注意：如果已安装伪分布模式，先删除格式化后生成的数据文件，其他请略过。

rm -rf /opt/servers/hadoop-2.7.7/tmp

2. 进入目录

cd /opt/servers

3.上传安装包并解压

tar -xvzf hadoop-2.7.7.tar.gz -C ../servers/

4.修改配置文件

位置：/opt/servers/hadoop-2.7.7/etc/hadoop

4.1.修改hadoop-env.sh

vim /opt/servers/hadoop-2.7.7/etc/hadoop/hadoop-env.sh

修改

export JAVA_HOME=/opt/servers/jdk1.8.0_65
export HADOOP_CONF_DIR=/opt/servers/hadoop-2.7.7/etc/hadoop

4.2.修改 core-site.xml

vim /opt/servers/hadoop-2.7.7/etc/hadoop/core-site.xml

增加namenode配置、文件存储位置配置：粘贴代码部分到标签内

 

 
fs.default.name
 
hdfs://hadoop01:8020
 
 
 

 
  
 
hadoop.tmp.dir
 
/opt/servers/hadoop-2.7.7/tmp
 

4.3.修改 hdfs-site.xml

vim /opt/servers/hadoop-2.7.7/etc/hadoop/hdfs-site.xml

• 配置包括自身在内的备份副本数量到标签内

 

 

 
dfs.replication
 
2
 

 

 

 
dfs.permissions
 
false
 

4.4.修改 mapred-site.xml

说明：在/opt/servers/hadoop-2.7.7/etc/hadoop的目录下，只有一个mapred-site.xml.template文件，复制一个。

cp mapred-site.xml.template mapred-site.xml

vim /opt/servers/hadoop-2.7.7/etc/hadoop/mapred-site.xml

配置mapreduce运行在yarn上：粘贴高亮部分到标签内

 
 

 
mapreduce.framework.name
 
yarn
 

4.5.修改 yarn-site.xml

vim /opt/servers/hadoop-2.7.7/etc/hadoop/yarn-site.xml

• 配置：粘贴高亮部分到标签内

 

 
yarn.resourcemanager.hostname
 
hadoop01
 

 

 

 
yarn.nodemanager.aux-services
 
mapreduce_shuffle
 

4.6.修改slaves

vim /opt/servers/hadoop-2.7.7/etc/hadoop/slaves

修改

hadoop01
hadoop02
hadoop03

4.7.配置hadoop的环境变量

vim /etc/profile

export HADOOP_HOME=/opt/servers/hadoop-2.7.7
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置完成之后生效

source /etc/profile

环境变量配置完成，测试环境变量是否生效

echo $HADOOP_HOME

4.8.分发文件到hadoop02、hadoop03服务器

cd /opt/servers/
scp -r hadoop-2.7.7/ hadoop02:$PWD
scp -r hadoop-2.7.7/ hadoop03:$PWD

4.9.hadoop02、hadoop03服务器配置hadoop的环境变量

vim /etc/profile

export HADOOP_HOME=/opt/servers/hadoop-2.7.7
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置完成之后生效

source /etc/profile

环境变量配置完成，测试环境变量是否生效

echo $HADOOP_HOME

5. 启动 5.1.初始化

hdfs namenode -format

5.2.启动

start-all.sh

5.3.停止

stop-all.sh

5.4.测试

jps

5.5.停止服务

stop-all.sh

5.6.访问浏览器

windows的浏览器中访问

hdfs集群访问地址

http://hadoop01:50070/

yarn集群访问地址

http://hadoop01:8088/

安装成功！

6. 补充：可以按照组件启动服务

start-dfs.sh
start-yarn.sh

也可以单独启动一个服务

在主节点上使用以下命令启动 HDFS NameNode：
hadoop-daemon.sh start namenode 
在每个从节点上使用以下命令启动 HDFS DataNode： 
hadoop-daemon.sh start datanode 
在主节点上使用以下命令启动 YARN ResourceManager： 
yarn-daemon.sh  start resourcemanager 
在每个从节点上使用以下命令启动 YARN nodemanager： 
yarn-daemon.sh start nodemanager 

我们的服务在运行时,某个服务可能突然宕机,此时我们需要单独启动此服务,例如: