Hadoop程序安装与配置

Hadoop程序安装与配置,第1张

Hadoop程序安装与配置
一.集群环境搭建

环境准备

(1) 服务器配置


IP

主机名

环境配置

安装

10.100.100.42

node01

关闭防火墙和selinux,host映射,时钟同步

JDK,NameNode,ResourceManager,Zookeeper

10.100.100.43

node02

关闭防火墙和selinux,host映射,时钟同步

JDK,DataNode,NodeManager,Zookeeper

10.100.100.44

node03

关闭防火墙和selinux,host映射,时钟同步

JDK,DataNode,NodeManager,Zookeeper

(2) 修改主机名与主机名映射

  • 编辑etc/hostname文件  编辑etc/hosts

    (3) 关闭防火墙和SELinux

  • Service iptables stop (关闭防火墙)   Chkconfig iptables off  (禁止开机启动)
  • CentOS7
  • systemctl stop firewalld.service #停止firewall
  • systemctl disable firewalld.service #禁止firewall开机启动
  • 关闭Selinux
  • 查看状态命令   /usr/sbin/sestatus -v
  • 修改/etc/selinux/config 文件,将SELINUX=enforcing改为SELINUX=disabled

  • 设置后需要重启才能生效

    (4) SSH免密登录

  • 集群三台机器生成公钥私钥对  ssh-keygen -t rsa
  • 将三台机器公钥拷贝到第一台  ssh-copy-id node01
  • 拷贝第一台机器的公钥到另外两台
  • scp /root/.ssh/authorized_keys node02:/root/.ssh
  • scp /root/.ssh/authorized_keys node03:/root/.ssh
  • 免密登录验证在node01 执行 ssh node02

    (5) 时钟同步

  • 安装ntp   yum install -y ntp
  • 开启定时服务
  • crontab -e
  • */1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

    (6) 集群机器安装JDK(1.8)

  • 查看是否安装openJDK,如果安装需要卸载  rpm -qa | grep java
  • 卸载自带jdk   rpm -e jar包 --nodeps
  • 创建目 mkdir -p /export/softPage   mkdir -p /export/soft
  • 上传jdk并解压 安装上传工具 yum -y install lrzsz
  • 上传文件命令 rz -E             
  • 解压文件命令  tar -xvf 安装包(路径) -C /export/soft
  • 配置环境变量 vi /etc/profile
  • export JAVA_HOME=/export/soft/jdk1.8.0_144
  • export PATH=:$JAVA_HOME/bin:$PATH
  • 让配置文件生效 source /etc/profile
  • 验证jdk安装成功 java -version
  • 远程拷贝文件夹 scp -r 文件夹路径 node01:/export/soft
  • 配置其他机器的环境变量,具体 *** 作见上
  • 取消日志提醒日志
  • vi /etc/profile添加unset MAILCHECK  然后让文件生效 source /etc/profile
    二.Zookeeper集群环境搭建

    (1) 集群规划

                                    IP

    主机名

    MyId

    10.100.100.42

    Node01

    1

    10.100.100.43

    Node02

    2

    10.100.100.44

    Node03

    3

    (2) 下载Zookeeper(3.4.9)安装包

  • 下载地址:Index of /dist/zookeeper

    (3) 解压文件

  • tar -xvf 安装包 -C /export/soft

    (4) 修改配置文件

  • cd /export/soft/zookeeper-3.4.9/conf/
  • 拷贝模板配置文件  cp zoo_sample.cfg zoo.cfg
  • 创建zookeeper数据目录 mkdir -p /export/soft/zookeeper-3.4.9/zkdatas
  • 配置数据目录

  • 配置快照数

  • 配置日志清理时间

     

  • 配置zookeeper集群
  • server.1=node01:2888:3888
  • server.2=node02:2888:3888
  • server.3=node03:2888:3888

    (5) 创建myid配置文件

  • vi myid
  • Echo 1 > /export/soft/zookeeper-3.4.9/zkdatas/myid

    (6) 安装包分发到node02 node03

  • scp -r 文件夹路径 node02:/export/soft
  • scp -r 文件夹路径 node03:/export/soft

    (7) 启动集群中每台机器的zookeeper服务

  • 启动服务    /export/soft/zookeeper-3.4.9/bin/zkServer.sh start
  • 查看服务状态  /export/soft/zookeeper-3.4.9/bin/zkServer.sh status
    三.Hadoop集群环境搭建

    (1) 集群规划

    服务器IP

    10.100.100.42

    10.100.100.43

    10.100.100.44

    主机名

    Node01

    Node02

    Node03

    NameNode

    SecondaryNameNode

    dataNode

    ResourceManager

    NodeManager

    (2) 安装包下载(Hadoop2.7.5)​​​​​

    (3) 文件上传及解压  详细 *** 作见上面类似的 *** 作

    (4) 修改配置文件  

  • 修改core-site.xml   文件路径  /export/soft/hadoop-2.7.5/etc/hadoop/core-site.xml
  • 修改内容

    
    
    
    
    
    
    fs.default.name
    
    hdfs://192.168.1.200:8020
    
    
    
    
    
    
    
    hadoop.tmp.dir
    
    /export/soft/hadoop-2.7.5/hadoopDatas/tempDatas
    
    
    
    
    
    
    
    io.file.buffer.size
    
    4096
    
    
    
    
    
    
    
    fs.trash.interval
    
    10080
    
    
    
    
    
    
    
    修改hdfs-site.xml
    
    文件路径
    
    /export/soft/hadoop-2.7.5/etc/hadoop/hdfs-site.xml
    
    修改内容
    
    
    
    
    
    
    
    dfs.namenode.secondary.http-address
    
    node01:50090
    
    
    
    
    
    
    
    dfs.namenode.http-address
    
    node01:50070
    
    
    
    
    
    
    
    dfs.namenode.name.dir
    
    file:///export/soft/hadoop-2.7.5/hadoopDatas/namenodeDatas,file:///export/soft/hadoop-2.7.5/hadoopDatas/namenodeDatas2
    
    
    
    
    
    
    
    dfs.datanode.data.dir
    
    file:///export/soft/hadoop-2.7.5/hadoopDatas/datanodeDatas,file:///export/soft/hadoop-2.7.5/hadoopDatas/datanodeDatas2
    
    
    
    
    
    
    
    dfs.namenode.edits.dir
    
    file:///export/soft/hadoop-2.7.5/hadoopDatas/nn/edits
    
    
    
    
    
    
    
    dfs.namenode.checkpoint.dir
    
    file:///export/soft/hadoop-2.9.2/hadoopDatas/snn/name
    
    
    
    
    
    
    
    dfs.namenode.checkpoint.edits.dir
    
    file:///export/soft/hadoop-2.9.2/hadoopDatas/dfs/snn/edits
    
    
    
    
    
    
    
    dfs.replication
    
    3
    
    
    
    
    
    
    
    dfs.permissions
    
    false
    
    
    
    
    
    
    
    dfs.blocksize
    
    134217728
    
    
    
    
    
    修改hadoop-env.sh   主要是修改jdk的路径
    
    /export/soft/jdk1.8.0_144
    
    修改mapred-site.xml 修改内容
    
    
    
    
    
    
    
    mapreduce.job.ubertask.enable
    
    true
    
    
    
    
    
    
    
    
    
    mapreduce.jobhistory.address
    
    node01:10020
    
    
    
    
    
    
    
    
    
    mapreduce.jobhistory.webapp.address
    
    node01:19888
    
    
    
    

    修改yarn-site.xml,修改内容

    
    
    
    yarn.resourcemananger.hostname
    
    node01
    
    
    
    
    
    
    
    
    
    yarn.nodemanager.aux-services
    
    mapreduce_shuffle
    
    
    
    
    
    
    
    
    
    yarn.log-aggregation-enable
    
    true
    
    
    
    
    
    
    
    
    
    yarn.log-aggregation.retain-seconds
    
    604800
    
    
    
    
    
    
    
    
    
    yarn.nodemanager.resource.memory-mb
    
    20480
    
    
    
    
    
    yarn.scheduler.minimum-allocation-mb
    
    2048
    
    
    
    
    
    yarn.nodemanager.vmem-pmem-ratio
    
    2.1
    
    

  • 修改mapred-env.sh  主要是修改jdk的路径

      export JAVA_HOME=/export/soft/jdk1.8.0_144

     修改slaves 改文件主要是配置丛级关系  修改内容如下:Node01   Node02   Node03

  • 创建目录
    mkdir -p /export/soft/hadoop-2.9.2/hadoopDatas/tempDatas
    
    mkdir -p /export/soft/hadoop-2.9.2/hadoopDatas/namenodeDatas
    
    mkdir -p /export/soft/hadoop-2.9.2/hadoopDatas/namenodeDatas2
    
    mkdir -p /export/soft/hadoop-2.9.2/hadoopDatas/datanodeDatas
    
    mkdir -p /export/soft/hadoop-2.9.2/hadoopDatas/datanodeDatas2
    
    mkdir -p /export/soft/hadoop-2.9.2/hadoopDatas/nn/edits
    
    mkdir -p /export/soft/hadoop-2.9.2/hadoopDatas/snn/name
    
    mkdir -p /export/soft/hadoop-2.9.2/hadoopDatas/dfs/snn/edits

  • 安装包分发

            scp -r 安装包路径 node02:$PWD

            scp -r 安装包路径 node03:$PWD

  • 配置hadoop环境变量

            vi /etc/profile

            export HADOOP_HOME=/ export/soft/hadoop-2.9.2

            export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

             source /etc/profile

  • 启动集群,在主节点上

            cd /export/soft/hadoop-2.7.5/

            bin/hdfs/ namenode -format(第一次启动才执行)

            sbin/start-dfs.sh   Sbin/start-yarn.sh

            sbin/mr-jobhistory-daemon.sh start historyserver

            网页查看hdfs http://node01:50070/explorer.html#/

            网页查看yarn集群   http://node01:8088/cluster

            网页查看历史完成的任务 http://node01:19888/jobhistory

    四.Hbase(hadoop数据库)安装

    (1)安装包下载并上传(hbase 2.1.0)

            下载路径 http://archive.apache.org/dist/hbase   软件版本 2.1.0

    (2)修改hbase-env.sh文件

            export JAVA_HOME=/export/soft/jdk1.8.0_144

            export Hbase_MANAGES_ZK=false

     

     

     

    (3)修改hbase-site.xml文件

     

      
        hbase.rootdir
        hdfs://node01:8020/hbase
      
      
      
        hbase.cluster.distributed
        true
      
      
      
        hbase.zookeeper.quorum
        node01,node02,node03
      
      
      
        hbase.zookeeper.property.dataDir
        /export/soft/zookeeper-3.4.9/zkdatas
      
      
        hbase.tmp.dir
        ./tmp
      
      
      
        hbase.unsafe.stream.capability.enforce
        false
      

    (4)配置环境变量文件

            export Hbase_HOME=/export/soft/hbase-2.4.0

            export PATH=:$Hbase_HOME/bin:$Hbase_HOME/sbin:$PATH

    (5)拷贝依赖库

           cp $Hbase_HOME/lib/client-facing-thirdparty/htrace-core4-4.2.0-incubating.jar                          $Hbase_HOME/lib

    (6)修改regionservers文件

            

    (7)安装包分发

            

            scp -r hbase-2.4.0/ node02:$PWD

            scp -r hbase-2.4.0/ node03:$PWD

    (8)修改node02 node03的环境变量并生效

    (9)启动Hbase

            首先要保证zookeeper集群和hadoop集群已经启动。然后在主节点上启动Hbase

            进入到Hbase的bin目录,执行start-hbase.sh

    (10)验证Hbase是否启动成功

            

     

    (11)Hbase网页界面

            Http://10.100.100.42:16010

    五.Phoenix(5.0.0)插件安装

    (1)文件下载

            文件下载地址   Http://phoenix.apache.org/download.html

    (2)文件上传并解压  tar -xvf phoenix-hbase-2.4.0-5.1.2-bin.tar.gz -C /export/soft

    (3)拷贝Jar包到Hbase目录

            cp  /export/soft/phoenix-hbase-2.4.0-5.1.2-bin/phoenix-*.jar /export/soft/hbase-2.4.0/lib/

    (4)分发Jar包到Hbase的其他节点上

            scp phoenix-*.jar node02:$PWD

            scp phoenix-*.jar node03:$PWD

    (5)修改配置文件

    修改hbase的配置文件
    
    cd /export/soft/hbase-2.4.0/conf/
    
    修改hbase-site.xml文件
    
     
    
      
    
        phoenix.schema.isNamespaceMappingEnabled
    
        true
    
      
    
      
    
      
    
        hbase.regionserver.wal.codec
    
        org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec
    
      

    (6)分发配置文件

            scp hbase-site.xml node02:$PWD

            scp hbase-site.xml node03:$PWD

    (7)拷贝配置文件到phoenix目录中

            cp hbase-site.xml /export/soft/phoenix-hbase-2.4.0-5.1.2-bin/bin/

    (8)重启Hbase服务

            新集群 zookeeper3.4.9 hadoop2.7.5  hbase 2.1.0  phoenix (5.0.0-Hbase2.0)

            检查hadoop2.7.5对本地库的支持

            Bin/hadoop/ checknative     SpringBoot 整合Hadoop

            客户端在windows环境下需要hadoop.dll

            上述新集群

     

    欢迎分享,转载请注明来源:内存溢出

    原文地址: http://outofmemory.cn/zaji/5711139.html

  • (0)
    打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
    上一篇 2022-12-17
    下一篇 2022-12-18

    发表评论

    登录后才能评论

    评论列表(0条)

    保存