Hadoop笔记（为分布式部署）

Hadoop笔记（为分布式部署）

一、配置集群环境

（1）修改第一个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下，设置hadoop-env.sh文件

命令：Vi hadoop-env.sh

命令模式下输入/搜索JAVA_HOME

修改：export JAVA_HOME=/opt/module/jdk1.8.0_212

（2）修改第二个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下，设置core-site.xml文件

命令：vi core-site.xml

fs.defaultFS
    hdfs://hadoop1000:9820




        hadoop.tmp.dir
        /opt/module/hadoop-3.1.3/data/tmp

（3）修改第三个配置

在/opt/module/hadoop-3.1.3/etc/hadoop目录下,

设置hdfs-site.xml文件

命令：vi hdfs-site.xml

        dfs.replication
        1

二、启动集群

1、格式化namenode

命令：Hdfs namenode -format

2、启动namenode

命令：hdfs --daemon start

 3、启动datanode 

命令：hdfs  --daemon start datanode

 三、配置yarn-site.xml

 命令：vi yarn-site.xml

yarn.nodemanager.aux-services
mapreduce_shuffle



yarn.resourcemanager.hostname
hadoop100

 
  yarn.nodemanager.env-whitelist        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
 

四、配置mapred-site.xml

命令： vi mapred-site.xml

                mapreduce.framework.name
                yarn

 1、启动resourcemanager

命令：yarn --daemon start resourcemanager

2、启动nodemanager

命令：yarn --daemon start nodemanager

3、Jsp查看java进程

命令：jsp