云服务器搭建hadoop集群（一主二从）

云服务器搭建hadoop集群（一主二从）

写在前面:内容可能不太完善,有些东西由于时间有限没有写到文章中,因此,在搭建过程中如果有什么问题欢迎随时在评论区交流~

云服务器配置

• 最好是2核4G，内存太低的话后面跑hive的时候可能会出现问题

• 服务器最好买同一个区的

• 服务器不用再同一个账号下，可以注册多个账号，然后利用首单优惠政策低价购入服务器

1. 拿到三台云服务器后需要修改hostname

vim /etc/hostname

将三台云服务器分别命名为：hadoop102、hadoop103、hadoop104

1. 还需要修改hosts（注意每台机器的ip，分清内外网ip区别）

vim /etc/hosts

hadoop102的hosts

hadoop102机器的内网ip hadoop102
hadoop103机器的外网ip hadoop103
hadoop104机器的外网ip hadoop104

hadoop103的hosts

hadoop102机器的外网ip hadoop102
hadoop103机器的内网ip hadoop103
hadoop104机器的外网ip hadoop104

hadoop104的hosts

hadoop102机器的外网ip hadoop102
hadoop103机器的外网ip hadoop103
hadoop104机器的内网ip hadoop104

1. 关闭防火墙及开机自启（三台机器均需要 *** 作）

systemctl stop firewalld
systemctl disable firewalld.service

1. 安装JDK（参考，如有疑问，评论区相见，可以参考下面的集群安装参考指南）

2. 安装Hadoop（略，如有疑问，评论区相见，可以参考下面的集群安装参考指南）

搭建hadoop3.x集群所需的基本材料

• 集群安装参考指南（这个安装指南是虚拟机安装的方式，不太适用云服务器，但是很多部分可以参考）

• hadoop3.X安装包

• jdk安装包

• 其他脚本文件

  • xsync同步脚本

  • hadoop集群启动脚本

  • hadoop集群初始化脚本

以上材料见链接：

使用方式见评论区

重头戏——xml文件的配置

需要注意的是，下面配置文件中的端口，需要添加到云服务器的防火墙规则中去，否则在使用过程中会出现报错。

• etc/hadoop/core-site.xml

  
  
    fs.defaultFS
    hdfs://hadoop102:8020
  
  
  
    hadoop.tmp.dir
    /opt/module/hadoop-3.1.3/data
  
  
  
    hadoop.http.staticuser.user
    root
  

• etc/hadoop/hdfs-site.xml

    
        dfs.replication
        3
    
​
    
    
            dfs.namenode.http-address
            hadoop102:9870
    
    
    
            dfs.namenode.secondary.http-address
            hadoop104:9868
    

• etc/hadoop/mapred-site.xml

    
        mapreduce.framework.name
        yarn
    
    
    
        mapreduce.jobhistory.address
        hadoop102:10020
    

    
    
        mapreduce.jobhistory.webapp.address
        hadoop102:19888
    

    
　　mapreduce.map.memory.mb
　　1536


　　mapreduce.map.java.opts
　　-Xmx1024M


　　mapreduce.reduce.memory.mb
　　3072


　　mapreduce.reduce.java.opts
　　-Xmx2560M

• etc/hadoop/yarn-site.xml

    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

    
    
        yarn.resourcemanager.hostname
        hadoop103
    

    
    
        yarn.nodemanager.env-whitelist
        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
    

    
    
        yarn.log-aggregation-enable
        true
    

    
    
        yarn.log-aggregation.retain-seconds
        604800
   
   
   
       yarn.log.server.url
       http://hadoop102:19888/jobhistory/logs