6. Hadoop完全分布式模式

6. Hadoop完全分布式模式 一. 解压安装文件到/opt/module下面

tar -zxvf /h3ch/hadoop-2.6.0.tar.gz -C /opt/module/

二. 将Hadoop添加到环境变量 全局变量

vim /etc/profile

export HADOOP_HOME=/opt/module/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

三. 配置只对当前root用户生效的环境变量

vim /root/.bash_profile

export JAVA_HOME=/usr/local/src/jdk1.8.0_301/
export HADOOP_HOME=/opt/module/hadoop-2.6.0/
PATH=.:$JAVA_HOME:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH:$HOME/bin

四. 使环境变量立即生效

source /etc/profile
source /root/.bash_profile

五. 启动HDFS并运行MapReduce程序 1. 配置：hadoop-env.sh

export JAVA_HOME=/usr/local/src/jdk1.8.0_301/

2. 配置：core-site.xml

fs.defaultFS
    hdfs://Master1:9000



   hadoop.tmp.dir
   /opt/module/hadoop-2.6.0/data/tmp

3. 配置：hdfs-site.xml

   dfs.replication
   1

六. 启动集群 格式化NameNode（第一次启动时格式化，以后就不要总格式化）

bin/hdfs namenode -format

启动NameNode

sbin/hadoop-daemon.sh start namenode

启动DataNode

sbin/hadoop-daemon.sh start datanode

七. 查看集群

jps

八. web端查看HDFS文件系统

http://172.16.24.100:50070/dfshealth.html#tab-overview

九. 启动YARN并运行MapReduce程序 配置yarn-env.sh

export JAVA_HOME=/usr/local/src/jdk1.8.0_301/

配置yarn-site.xml

     yarn.nodemanager.aux-services
     mapreduce_shuffle



yarn.resourcemanager.hostname
Master1

配置：mapred-env.sh

export JAVA_HOME=/usr/local/src/jdk1.8.0_301/

配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

     mapreduce.framework.name
     yarn

十. 启动集群(启动前必须保证NameNode和DataNode已经启动) 启动ResourceManager

sbin/yarn-daemon.sh start resourcemanager

启动NodeManager

sbin/yarn-daemon.sh start nodemanager

十一. YARN的浏览器页面查看

http://172.16.24.100:8088/cluster

十二. 使用scp命令拷贝hadoop到Slave1和Slave2