Hadoop完全分布式集群搭建

Hadoop完全分布式集群搭建 安装Hadoop集群前提

文件：jdk1.8 hadoop

如何关闭防火墙

查看防火墙状态： systemctl status firewalld.service
关闭命令： systemctl stop firewalld.service
开机禁用防火墙自启命令  ： systemctl disable firewalld.service

service network restart
yum install net-tools 安装使用ifconfig

Hadoop-2.7.1安装

文件配置

# vi /etc/hosts
192.168.80.80 node01
192.168.80.81 node02
192.168.80.82 node03

开始安装

Hadoop安装路径：/usr/local/src/hadoop

cd /usr/local/src/
mkdir java
mkdir hadoop
tar -zxvf hadoop-2.7.1.tar.gz -C ./
tar -zxvf jdk-8u141-linux-x64.tar.gz -C ./  改名字！！！
cd java
mv jdk1.8.0_141 jdk1.8 改名字！
cd /etc/profile.d/
vi jdk.sh   创建jdk.sh并配置
export JAVA_HOME=/usr/local/src/java/jdk1.8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}
source /etc/profile.d/jdk.sh
最后java -version 验证是否安装成功
cd /usr/local/src/hadoop/hadoop-2.7.1/etc/hadoop/

需要配置的文件(hadoop-env.sh,core-site.xml, hdfs-site.xml,mapred-site.xml,yarn-site.xml)

配置slaves

vi slaves

node01
node02
node03

配置hadoop-env.sh

vi hadoop-env.sh

JAVA_HOME=/usr/local/src/java/jdk1.8

配置core-site.xml

vi core-site.xml

    
    
        fs.defaultFS
        hdfs://node01:9000
    
    
    
        hadoop.tmp.dir
        /usr/local/src/hadoop/hadoop-data
    

配置hdfs-site.xml

vi hdfs-site.xml

        
                dfs.replication
                3
        
        
        
                dfs.secondary.http.address
                node01:50090
        

配置mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

        
        
                mapreduce.framework.name
                yarn
        

配置yarn-site.xml

vi yarn-site.xml

        
        
                yarn.resourcemanager.hostname
                node01
        
        
        
                yarn.nodemanager.aux-services
                mapreduce_shuffle
        

配置Hadoop环境变量

cd /etc/profile.d/ 进入 profile.d目录

通过vi hadoop.sh 创建文件

配置内容
export HADOOP_HOME=/usr/local/src/hadoop/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使用命令：source /etc/profile.d/hadoop.sh使配置生效

免密登录三台机器

ssh-keygen -t rsa
ssh-copy-id node01
ssh-copy-id node02
ssh-copy-id node03

对node01

vi ~/.ssh/config

Host node01 Hostname 192.168.80.80 Port 22 User root

对node01节点，进行格式计划 *** 作(即：hdfs要进行格式化)

在node01上执行：

hdfs namenode -format

start-all.sh

hadoop jar /usr/local/src/hadoop/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar pi 5 10

192.168.80.80:50090

192.168.80.80:8088

hdfs dfsadmin -report