Hadoop04【集群环境搭建】

Hadoop04【集群环境搭建】

进入hadoop目录中

目录结构介绍

| 目录 | 说明 |

| — | :-- |

| bin | 自身的一些 *** 作命令 |

| etc | 配置文件在该目录下 |

| include | c语言本地库的一些东邪 |

| lib | 本地库 |

| libexec | 目录下存放的是hadoop的配置脚本 |

| sbin | 系统管理启动的命令 |

| share | 文档和相关jar包 |

二、修改配置文件

======================================================================

hadoop配置文件存放在etc/hadoop文件夹下，

1.hadoop-env.sh

---

设置具体的jdk路径，路径需要写死，因为在集群环境中通过$JDK_HOME获取不到系统环境变量中的信息。

2.core-site.xml

---

指定NameNode的地址和hadoop运行时产生文件的存储目录。

fs.defaultFS

hdfs://hadoop-node01:9000

hadoop.tmp.dir

/root/apps/hadoop/hdfsdata

3.hdfs-site.xml

---

指定副本的存储个数，及secondaryNameNode的存储地址

dfs.replication

1

dfs.secondary.http.address

hadoop-node01:50090

4.mapred-site.xml

---

首先需要将文件名称修改了。原文件名称为mapred-site.xml.template。指定MapReduce的资源调度方式为yarn。

mapreduce.framework.name

yarn

5.yarn-site.xml

---

指定ResourceManager(yarn的老大)的地址和reduce获取数据的方式shuffle。

yarn.resourcemanager.hostname

hadoop-node01

yarn.nodemanager.aux-services

mapreduce_shuffle

6.slaves

---

指定DataNode的地址。

三、内容分发

====================================================================

在hadoop-node01节点配置完成后，我们可以一次性将hadoop文件夹分发给其他几个节点。