3台linux安装hadoop机群

3台linux安装hadoop机群 准备工作：有3台虚拟机，主机名为node1、node2、node3，并且node1为主节点 第一步：上传压缩包并解压

• 将压缩的hadoop包上传到第一台服务器并解压；第一台机器执行以下命令

cd /usr/soft/
tar -xzvf hadoop-3.1.4.tar.gz -C /usr/install

第二步：查看hadoop支持的压缩方式以及本地库

• 第一台机器执行以下命令

cd /usr/install/hadoop-3.1.4/
bin/hadoop checknative

• 如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了

sudo yum -y install openssl-devel

第三步：修改配置文件

• 修改hadoop-env.sh
• 第一台机器执行以下命令

cd /usr/install/hadoop-3.1.4/etc/hadoop/
vim hadoop-env.sh
export JAVA_HOME=/usr/install/jdk1.8.0_141

• 修改core-site.xml
• 第一台机器执行以下命令

vim core-site.xml


    
        fs.defaultFS
        hdfs://node1:8020
    
    
        hadoop.tmp.dir
        /usr/install/hadoop-3.1.4/hadoopDatas/tempDatas
    
    
    
        io.file.buffer.size
        4096
    
    
    
        fs.trash.interval
        10080
    

修改hdfs-site.xml

• 第一台机器执行以下命令

vim hdfs-site.xml


     
    
     
            dfs.namenode.secondary.http-address
            node1:9868
    
    
        dfs.namenode.http-address
        node1:9870
    
    
    
        dfs.namenode.name.dir
        file:///usr/install/hadoop-3.1.4/hadoopDatas/namenodeDatas
    
    
    
        dfs.datanode.data.dir
        file:///usr/install/hadoop-3.1.4/hadoopDatas/datanodeDatas
    
    
    
        dfs.namenode.edits.dir
        file:///usr/install/hadoop-3.1.4/hadoopDatas/dfs/nn/edits
    
    
    
        dfs.namenode.checkpoint.dir
        file:///usr/install/hadoop-3.1.4/hadoopDatas/dfs/snn/name
    
    
    
        dfs.namenode.checkpoint.edits.dir
        file:///usr/install/hadoop-3.1.4/hadoopDatas/dfs/nn/snn/edits
    
    
        dfs.replication
        3
    
    
        dfs.permissions.enabled
        false
    
	
        dfs.blocksize
        134217728
    

修改mapred-site.xml

• 第一台机器执行以下命令

vim mapred-site.xml


    
        mapreduce.framework.name
        yarn
    
    
        mapreduce.job.ubertask.enable
        true
    
    
        mapreduce.jobhistory.address
        node1:10020
    
    
        mapreduce.jobhistory.webapp.address
        node1:19888
    
        
        yarn.app.mapreduce.am.env
        HADOOP_MAPRED_HOME=${HADOOP_HOME}
    
    
        mapreduce.map.env
        HADOOP_MAPRED_HOME=${HADOOP_HOME}
    
    
        mapreduce.reduce.env
        HADOOP_MAPRED_HOME=${HADOOP_HOME}
    

修改yarn-site.xml

• 第一台机器执行以下命令
• 下面展示一些 内联代码片。

vim yarn-site.xml


    
       yarn.resourcemanager.hostname
        node1
    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
    
        yarn.nodemanager.vmem-check-enabled
        false
    
    
        yarn.nodemanager.pmem-check-enabled
        false
    

修改workers文件

• 第一台机器执行以下命令 下面展示一些 内联代码片。

vim workers
原内容替换为
node1
node2
node3

第四步：创建文件存放目录

• 第一台机器执行以下命令 node1机器上面创建以下目录

mkdir -p /usr/install/hadoop-3.1.4/hadoopDatas/tempDatas
mkdir -p /usr/install/hadoop-3.1.4/hadoopDatas/namenodeDatas
mkdir -p /usr/install/hadoop-3.1.4/hadoopDatas/datanodeDatas 
mkdir -p /usr/install/hadoop-3.1.4/hadoopDatas/dfs/nn/edits
mkdir -p /usr/install/hadoop-3.1.4/hadoopDatas/dfs/snn/name
mkdir -p /usr/install/hadoop-3.1.4/hadoopDatas/dfs/nn/snn/edits

第五步：安装包的分发scp 1. 通过scp直接拷贝

• scp（secure copy）安全拷贝
• 可以通过scp进行不同服务器之间的文件或者文件夹的复制

scp -r sourceFile  username@host:destpath

• 用法示例

scp -r hadoop-lzo-0.4.20.jar hadoop@node1:/usr/

• node01执行以下命令进行拷贝

cd /usr/install/
scp -r hadoop-3.1.4/ node2:$PWD
scp -r hadoop-3.1.4/ node3:$PWD

第六步：配置hadoop的环境变量

• 三台机器都要进行配置hadoop的环境变量
• 三台机器执行以下命令

sudo vim /etc/profile
---
export HADOOP_HOME=/usr/install/hadoop-3.1.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

• 配置完成之后生效

source /etc/profile

第七步：格式化集群

• 要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。
• 注意：首次启动HDFS时，必须对其进行格式化 *** 作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。格式化 *** 作只有在首次启动的时候需要，以后再也不需要了
• node1执行一遍即可

hdfs namenode -format 
或者
hadoop namenode –format

• 下图高亮表示格式化成功；

第八步：集群启动

• 启动HDFS、YARN、Historyserver
• 主节点node1节点上执行以下命令

start-dfs.sh
start-yarn.sh
# 已过时mr-jobhistory-daemon.sh start historyserver
mapred --daemon start historyserver

• 停止集群（主节点node01节点上执行）

stop-dfs.sh
stop-yarn.sh 
# 已过时 mr-jobhistory-daemon.sh stop historyserver
mapred --daemon stop historyserver

第九步：验证集群是否搭建成功

访问对应主节点的ip+port访问指定页面即可

• hdfs集群访问地址

http://192.168.51.100:9870/

• yarn集群访问地址

http://192.168.51.100:8088

• jobhistory访问地址：

http://192.168.51.100:19888