Hadoop集群配置

Hadoop集群配置 1.需要配置core-site.xml

[admin@hadoop1002 hadoop]$ vim core-site.xml 

编辑如下：

 
    
        fs.defaultFS
        hdfs://hadoop1002:8020
    

    
    
        hadoop.tmp.dir
        /opt/module/hadoop-3.1.3/data
    

    
    
        hadoop.http.staticuser.user
        admin
    

2.配置hdfs-site.xml

xxxxxxxxxx [admin@hadoop1002 hadoop]$ vim hdfs-site.xml

编辑如下：

	
        dfs.namenode.http-address
        hadoop1002:9870
    
	
    
        dfs.namenode.secondary.http-address
        hadoop1004:9868
    

3.配置yarn-site.xml

[admin@hadoop1002 hadoop]$ vim yarn-site.xml

编辑如下：

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

    
    
        yarn.resourcemanager.hostname
        hadoop1003
    

    
    
        yarn.nodemanager.env-whitelist
        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
    

4.配置mapred-site.xml

[admin@hadoop1002 hadoop]$ vim mapred-site.xml

编辑如下：

    
        mapreduce.framework.name
        yarn
    

5.同步以上配置

[admin@hadoop1002 etc]$ xsync hadoop

6.配置workers

[admin@hadoop1002 hadoop]$ vim workers

编辑如下：

hadoop1002
hadoop1003
hadoop1004

7.同步workers

[admin@hadoop1002 hadoop-3.1.3]$ xsync etc/

8.格式化

[admin@hadoop1002 hadoop-3.1.3]$ hdfs namenode -format

9.启动dfs

[admin@hadoop1002 hadoop-3.1.3]$ sbin/start-dfs.sh

10.在hadoop1003上启动yarn

[admin@hadoop1003 hadoop-3.1.3]$ sbin/start-yarn.sh

11.用jps查询进程如下： hadoop1002

[admin@hadoop1002 hadoop-3.1.3]$ jps
4770 NodeManager
4436 DataNode
4325 NameNode
4875 Jps

hadoop1003

[admin@hadoop1003 hadoop-3.1.3]$ jps
3496 NodeManager
3385 ResourceManager
3197 DataNode
3839 Jps

hadoop1004

[admin@hadoop1004 hadoop-3.1.3]$ jps
3137 DataNode
3478 Jps
3241 SecondaryNameNode
3358 NodeManage

以上就是hadoop集群配置的所有 *** 作，如有问题请加以评论，我尽力帮忙解决。