请教hadoop2.0的ha如何配置

1 Hadoop HA架构详解

11 HDFS HA背景

HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。

影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用；二是计划内的NameNode节点软件或硬件升级，导致集群在短时间内不可用。

为了解决上述问题，Hadoop给出了HDFS的高可用HA方案：HDFS通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，比如处理来自客户端的RPC请求，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。

12 HDFS HA架构

一个典型的HA集群，NameNode会被配置在两台独立的机器上，在任何时间上，一个NameNode处于活动状态，而另一个NameNode处于备份状态，活动状态的NameNode会响应集群中所有的客户端，备份状态的NameNode只是作为一个副本，保证在必要的时候提供一个快速的转移。

为了让Standby Node与Active Node保持同步，这两个Node都与一组称为JNS的互相独立的进程保持通信(Journal Nodes)。当Active Node上更新了namespace，它将记录修改日志发送给JNS的多数派。Standby noes将会从JNS中读取这些edits，并持续关注它们对日志的变更。Standby Node将日志变更应用在自己的namespace中，当failover发生时，Standby将会在提升自己为Active之前，确保能够从JNS中读取所有的edits，即在failover发生之前Standy持有的namespace应该与Active保持完全同步。

为了支持快速failover，Standby node持有集群中blocks的最新位置是非常必要的。为了达到这一目的，DataNodes上需要同时配置这两个Namenode的地址，同时和它们都建立心跳链接，并把block位置发送给它们。

任何时刻，只有一个Active NameNode是非常重要的，否则将会导致集群 *** 作的混乱，那么两个NameNode将会分别有两种不同的数据状态，可能会导致数据丢失，或者状态异常，这种情况通常称为“split-brain”（脑裂，三节点通讯阻断，即集群中不同的Datanodes却看到了两个Active NameNodes）。对于JNS而言，任何时候只允许一个NameNode作为writer；在failover期间，原来的Standby Node将会接管Active的所有职能，并负责向JNS写入日志记录，这就阻止了其他NameNode基于处于Active状态的问题。

基于QJM的HDFS HA方案如上图所示，其处理流程为：集群启动后一个NameNode处于Active状态，并提供服务，处理客户端和DataNode的请求，并把editlog写到本地和share editlog（这里是QJM）中。另外一个NameNode处于Standby状态，它启动的时候加载fsimage，然后周期性的从share editlog中获取editlog，保持与Active节点的状态同步。为了实现Standby在Active挂掉后迅速提供服务，需要DataNode同时向两个NameNode汇报，使得Stadnby保存block to DataNode信息，因为NameNode启动中最费时的工作是处理所有DataNode的blockreport。为了实现热备，增加FailoverController和Zookeeper，FailoverController与Zookeeper通信，通过Zookeeper选举机制，FailoverController通过RPC让NameNode转换为Active或Standby。

13 HDFS HA配置要素

NameNode机器：两台配置对等的物理机器，它们分别运行Active和Standby Node。

JouralNode机器：运行JouralNodes的机器。JouralNode守护进程相当的轻量级，可以和Hadoop的其他进程部署在一起，比如NameNode、DataNode、ResourceManager等，至少需要3个且为奇数，如果你运行了N个JNS，那么它可以允许(N-1)/2个JNS进程失效并且不影响工作。

在HA集群中，Standby NameNode还会对namespace进行checkpoint *** 作（继承Backup Namenode的特性），因此不需要在HA集群中运行SecondaryNameNode、CheckpointNode或者BackupNode。

14 HDFS HA配置参数

需要在hdfsxml中配置如下参数：

dfsnameservices：HDFS NN的逻辑名称，例如myhdfs。

dfshanamenodesmyhdfs：给定服务逻辑名称myhdfs的节点列表，如nn1、nn2。

dfsnamenoderpc-addressmyhdfsnn1：myhdfs中nn1对外服务的RPC地址。

dfsnamenode>

dfsnamenodesharededitsdir：JournalNode的服务地址。

dfsjournalnodeeditsdir：JournalNode在本地磁盘存放数据的位置。

dfshaautomatic-failoverenabled：是否开启NameNode失败自动切换。

dfshafencingmethods ：配置隔离机制，通常为sshfence。

15 HDFS自动故障转移

HDFS的自动故障转移主要由Zookeeper和ZKFC两个组件组成。

Zookeeper集群作用主要有：一是故障监控。每个NameNode将会和Zookeeper建立一个持久session，如果NameNode失效，那么此session将会过期失效，此后Zookeeper将会通知另一个Namenode，然后触发Failover；二是NameNode选举。ZooKeeper提供了简单的机制来实现Acitve Node选举，如果当前Active失效，Standby将会获取一个特定的排他锁，那么获取锁的Node接下来将会成为Active。

ZKFC是一个Zookeeper的客户端，它主要用来监测和管理NameNodes的状态，每个NameNode机器上都会运行一个ZKFC程序，它的职责主要有：一是健康监控。ZKFC间歇性的ping NameNode，得到NameNode返回状态，如果NameNode失效或者不健康，那么ZKFS将会标记其为不健康；二是Zookeeper会话管理。当本地NaneNode运行良好时，ZKFC将会持有一个Zookeeper session，如果本地NameNode为Active，它同时也持有一个“排他锁”znode，如果session过期，那么次lock所对应的znode也将被删除；三是选举。当集群中其中一个NameNode宕机，Zookeeper会自动将另一个激活。

16 YARN HA架构

YARN的HA架构和HDFSHA类似，需要启动两个ResourceManager，这两个ResourceManager会向ZooKeeper集群注册，通过ZooKeeper管理它们的状态（Active或Standby）并进行自动故障转移。

2 高可用集群规划

21 集群规划

根据Hadoop的HA架构分析，规划整个集群由5台主机组成，具体情况如下表所示：

主机名

IP地址

安装的软件

JPS

hadoop-master1

172162081

Jdk/hadoop

Namenode/zkfc/resourcemanager/

JobHistoryServer

hadoop-master2

172162082

Jdk/hadoop

Namenode/zkfc/resourcemanager/

WebProxyServer

hadoop-slave1

172162083

Jkd/hadoop/zookeepe

Datanode/journalnode/nodemanager/

quorumPeerMain

hadoop-slave2

172162084

Jkd/hadoop/zookeeper

Datanode/journalnode/nodemanager/

quorumPeerMain

hadoop-slave3

172162085

Jkd/hadoop/zookeeper

Datanode/journalnode/nodemanager/

quorumPeerMain

需要说明以下几点：

HDFS HA通常由两个NameNode组成，一个处于Active状态，另一个处于Standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。

Hadoop 20官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode，这里还配置了一个Zookeeper集群，用于ZKFC故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为Active状态。

YARN的ResourceManager也存在单点故障问题，这个问题在hadoop-241得到了解决：有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调。

YARN框架下的MapReduce可以开启JobHistoryServer来记录历史任务信息，否则只能查看当前正在执行的任务信息。

Zookeeper的作用是负责HDFS中NameNode主备节点的选举，和YARN框架下ResourceManaer主备节点的选举。

22 软件版本

*** 作系统：CentOS Linux release 701406

JDK：Java(TM)SE Runtime Environment (build 170_79-b15)

Hadoop：Hadoop 260-cdh571

ZooKeeper：zookeeper-345-cdh571

3 Linux环境准备

集群各节点进行如下修改配置：

31 创建用户并添加权限

// 切换root用户

$ su root

// 创建hadoop用户组

# groupadd hadoop

// 在hadoop用户组中创建hadoop用户

# useradd -g hadoop hadoop

// 修改用户hadoop密码

# passwd hadoop

// 修改sudoers配置文件给hadoop用户添加sudo权限

# vim /etc/sudoers

hadoop    ALL=(ALL)       ALL

// 测试是否添加权限成功

# exit

$ sudo ls /root

32 修改IP地址和主机名

// 切换root用户

$ su root

// 修改本机IP地址

# vim /etc/sysconfig/network-scripts/ifcfg-eth0

// 重启网络服务

# service network restart

// 修改主机名

# hostnamectl set-hostname 主机名

// 查看主机名

# hostnamectl status

33 设置IP地址与主机名映射

// 切换root用户

$ su root

// 编辑hosts文件

# vim /etc/hosts

172162081    hadoop-master1

172162082    hadoop-master2

172162083    hadoop-slave1

172162084    hadoop-slave2

172162085    hadoop-slave3

34 关闭防火墙和Selinux

// 切换root用户

$ su root

// 停止firewall防火墙

# systemctl stop firewalldservice

// 禁止firewall开机启动

# systemctl disable firewalldservice

// 开机关闭Selinux

# vim /etc/selinux/config

SELINUX=disabled

// 重启机器后root用户查看Selinux状态

# getenforce

35 配置SSH免密码登录

// 在hadoop-master1节点生成SSH密钥对

$ ssh-keygen -t rsa

// 将公钥复制到集群所有节点机器上

$ ssh-copy-id hadoop-master1

$ ssh-copy-id hadoop-master2

$ ssh-copy-id hadoop-slave1

$ ssh-copy-id hadoop-slave2

$ ssh-copy-id hadoop-slave3

// 通过ssh登录各节点测试是否免密码登录成功

$ ssh hadoop-master2

备注：在其余节点上执行同样的 *** 作，确保集群中任意节点都可以ssh免密码登录到其它各节点。

36 安装JDK

// 卸载系统自带的openjdk

$ suroot

# rpm-qa | grep java

# rpm-e --nodeps java-170-openjdk-17075-2542el7_0x86_64

# rpm-e --nodeps java-170-openjdk-headless-17075-2542el7_0x86_64

# rpm-e --nodeps tzdata-java-2015a-1el7_0noarch

# exit

// 解压jdk安装包

$ tar-xvf jdk-7u79-linux-x64targz

// 删除安装包

$ rmjdk-7u79-linux-x64targz

// 修改用户环境变量

$ cd ~

$ vimbash_profile

exportJAVA_HOME=/home/hadoop/app/jdk170_79

exportPATH=$PATH:$JAVA_HOME/bin

// 使修改的环境变量生效

$ sourcebash_profile

// 测试jdk是否安装成功

$ java-version

4 集群时间同步

如果集群节点时间不同步，可能会出现节点宕机或引发其它异常问题，所以在生产环境中一般通过配置NTP服务器实现集群时间同步。本集群在hadoop-master1节点设置ntp服务器，具体方法如下：

// 切换root用户

$ su root

// 查看是否安装ntp

# rpm -qa | grep ntp

// 安装ntp

# yum install -y ntp

// 配置时间服务器

# vim /etc/ntpconf

# 禁止所有机器连接ntp服务器

restrict default ignore

# 允许局域网内的所有机器连接ntp服务器

restrict 17216200 mask 2552552550 nomodify notrap

# 使用本机作为时间服务器

server 12712710

// 启动ntp服务器

# service ntpd start

// 设置ntp服务器开机自动启动

# chkconfig ntpd on

集群其它节点通过执行crontab定时任务，每天在指定时间向ntp服务器进行时间同步，方法如下：

// 切换root用户

$ su root

// 执行定时任务，每天00:00向服务器同步时间，并写入日志

# crontab -e

0       0                           /usr/sbin/ntpdate hadoop-master1>> /home/hadoop/ntpdlog

// 查看任务

# crontab -l

5 Zookeeper集群安装

Zookeeper是一个开源分布式协调服务，其独特的Leader-Follower集群结构，很好的解决了分布式单点问题。目前主要用于诸如：统一命名服务、配置管理、锁服务、集群管理等场景。大数据应用中主要使用Zookeeper的集群管理功能。

本集群使用zookeeper-345-cdh571版本。首先在hadoop-slave1节点安装Zookeeper，方法如下：

// 新建目录

$ mkdir app/cdh

// 解压zookeeper安装包

$ tar -xvf zookeeper-345-cdh571targz -C app/cdh/

// 删除安装包

$ rm -rf zookeeper-345-cdh571targz

// 配置用户环境变量

$ vim bash_profile

export ZOOKEEPER_HOME=/home/hadoop/app/cdh/zookeeper-345-cdh571

export PATH=$PATH:$ZOOKEEPER_HOME/bin

// 使修改的环境变量生效

$ sourcebash_profile

// 修改zookeeper的配置文件

$ cd app/cdh/zookeeper-345-cdh571/conf/

$ cp zoo_samplecfg zoocfg

$ vim zoocfg

# 客户端心跳时间(毫秒)

tickTime=2000

# 允许心跳间隔的最大时间

initLimit=10

# 同步时限

syncLimit=5

# 数据存储目录

dataDir=/home/hadoop/app/cdh/zookeeper-345-cdh571/data

# 数据日志存储目录

dataLogDir=/home/hadoop/app/cdh/zookeeper-345-cdh571/data/log

# 端口号

clientPort=2181

# 集群节点和服务端口配置

server1=hadoop-slave1:2888:3888

server2=hadoop-slave2:2888:3888

server3=hadoop-slave3:2888:3888

# 以下为优化配置

# 服务器最大连接数，默认为10，改为0表示无限制

maxClientCnxns=0

# 快照数

autopurgesnapRetainCount=3

# 快照清理时间，默认为0

autopurgepurgeInterval=1

// 创建zookeeper的数据存储目录和日志存储目录

$ cd

$ mkdir -p data/log

// 在data目录中创建一个文件myid，输入内容为1

$ echo "1" >> data/myid

// 修改zookeeper的日志输出路径(注意CDH版与原生版配置文件不同)

$ vim libexec/zkEnvsh

if [ "x${ZOO_LOG_DIR}" = "x" ]

then

ZOO_LOG_DIR="$ZOOKEEPER_HOME/logs"

fi

if [ "x${ZOO_LOG4J_PROP}" = "x" ]

then

ZOO_LOG4J_PROP="INFO,ROLLINGFILE"

fi

// 修改zookeeper的日志配置文件

$ vim conf/log4jproperties

zookeeperrootlogger=INFO,ROLLINGFILE

// 创建日志目录

$ mkdir logs

将hadoop-slave1节点上的Zookeeper目录同步到hadoop-slave2和hadoop-slave3节点，并修改Zookeeper的数据文件。此外，不要忘记设置用户环境变量。

// 在hadoop-slave1中将zookeeper目录复制到其它节点

$ cd ~

$ scp -r app/cdh/zookeeper-345-cdh571hadoop-slave2:/home/hadoop/app/cdh

$ scp -r app/cdh/zookeeper-345-cdh571 hadoop-slave3:/home/hadoop/app/cdh

//在hadoop-slave2中修改data目录中的myid文件

$ echo "2" >app/cdh/zookeeper-345-cdh571/data/myid

//在hadoop-slave3中修改data目录中的myid文件

$ echo "3" >app/cdh/zookeeper-345-cdh571/data/myid

最后，在安装了Zookeeper的各节点上启动Zookeeper，并查看节点状态，方法如下：

// 启动

$ zkServersh start

// 查看状态

$ zkServersh status

// 关闭

Docker提供了一种完美隔离和打包Hadoop相关的应用程序的方法。该公司也在观察Slider框架和Docker如何能够一起合作来简化此类的部署工作。目前，Hortonworks的一个客户已经在考虑他们自己的数据平台利用HDP支持Docker的方法。他们利用Cloudbreak在云中的Docker容器中部署Hadoop，并计划把他们自己的数据应用程序制作成Docker镜像以便在YARN上运行。此外，很多用户也因为这种方式的敏捷性和兼容性，利用其进行未知环境的部署。

理论上可以的，vmware虚拟机和云服务器其实和传统物理服务器用起来没差别。但如果你说的云服务器是公有云，是vmware在你的局域网，不推荐组合起来搭建hadoop，因为互联网的网络延迟比本地高，集群会不稳，非要做的话，vmware虚拟机需要用dnat映射地址到公网

ubuntu1604安装hadoop302单机模式

进行NameNode格式化
进入/usr/local/hadoop

启动NameNode 和 DataNode

输入jps，会出现如下进程

关闭dfs

配置mapred-sitexml

sudo vim /etc/hostname
将内容修改为master/slave1/slave2

ubuntu 1604安装hadoop302单机模式

解释下：第一个fsdefaultFS设置master机为namenode hadooptmpdir配置Hadoop的一个临时目录，用来存放每次运行的作业jpb的信息。

dfsnamenodenamedir是namenode存储永久性的元数据的目录列表。这个目录会创建在master机上。dfsnamenodedatadir是datanode存放数据块的目录列表，这个目录在slave11和slave1机都会创建。 dfsreplication 设置文件副本数，这里两个datanode，所以设置副本数为2。

解释下：这里设置的是运行jobtracker的服务器主机名和端口，也就是作业将在master主机的9001端口执行

Hadoop300在Ubuntu1604上分布式部署
ubuntu1604搭建hadoop集群环境
hadoop分布式集群安装

*** 作系统
我们选择Linux作为 *** 作系统。Linux有许多不同的发行版，包括Ubuntu、RedHat和CentOS等，无论选择哪一个都可以。基于支持和许可费用的考虑，我们最终选择了CentOS 57。最好是定制一个CentOS的映像，把那些需要的软件都预装进去，这样所有的机器可以包含相同的软件和工具，这是一个很好的做法。
根据Cloudera的建议，OS层应该采用以下设置：
文件系统
Ext3文件系统
取消atime
不要使用逻辑卷管理
利用alternatives来管理链接
使用配置管理系统(Yum、Permission、sudoers等)
减少内核交换
撤销一般用户访问这些云计算机的权限
不要使用虚拟化
至少需要以下Linux命令：
/etc/alternatives
ln、chmod、chown、chgrp、mount、umount、kill、rm、yum、mkdir
硬件要求
由于Hadoop集群中只有两种节点(Namenode/Jobtracker和Datanode/Tasktracker)，因此集群内的硬件配置不要超过两种或三种。
图2 - Hadoop集群服务器角色
硬件建议：
Namenode/Jobtracker：1Gb/s以太网口x2、16GB内存、4个CPU、100GB磁盘
Datanode：1Gb/s以太网口x2、8GB内存、4个CPU、多个磁盘，总容量500GB以上
实际的硬件配置可以与我们建议的配置不同，这取决于你们需要存储和处理的数据量。但我们强烈建议不要在集群中混用不同的硬件配置，以免那些较弱的机器成为系统的瓶颈。
Hadoop的机架感知
Hadoop有一个“机架感知”特性。管理员可以手工定义每个slave数据节点的机架号。为什么要做这么麻烦的事情有两个原因：防止数据丢失和提高网络性能。
图3 - Hadoop集群的机架感知
为了防止数据丢失，Hadoop会将每个数据块复制到多个机器上。想象一下，如果某个数据块的所有拷贝都在同一个机架的不同机器上，而这个机架刚好发生故障了(交换机坏了，或者电源掉了)，这得有多悲剧为了防止出现这种情况，必须要有一个人来记住所有数据节点在网络中的位置，并且用这些知识来确定——把数据的所有拷贝们放在哪些节点上才是最明智的。这个“人”就是Name Node。
另外还有一个假设，即相比不同机架间的机器，同一个机架的机器之间有着更大的带宽和更小的延时。这是因为，机架交换机的上行带宽一般都小于下行带宽。而且，机架内的延时一般也小于跨机架的延时(但也不绝对)。
机架感知的缺点则是，我们需要手工为每个数据节点设置机架号，还要不断地更新这些信息，保证它们是正确的。要是机架交换机们能够自动向Namenode提供本机架的数据节点列表，那就太棒了。
Hadoop软件的安装和配置
Hadoop集群有多种构建方式：
手工下载tar文件并复制到集群中
利用Yum仓库
利用Puppet等自动化部署工具
我们不建议采用手工方式，那只适合很小的集群(4节点以下)，而且会带来很多维护和排障上的问题，因为所有的变更都需要用scp或ssh的方式手工应用到所有的节点上去。
从以下方面来看，利用Puppet等部署工具是最佳的选择：
安装
配置
维护
扩展性
监控
排障
Puppet是Unix/Linux下的一个自动化管理引擎，它能基于一个集中式的配置执行增加用户、安装软件包、更新服务器配置等管理任务。我们将主要讲解如何利用Yum和Puppet来安装Hadoop。
利用Yum/Puppet搭建Hadoop集群
要利用Puppet搭建Hadoop集群，首先要符合以下前置条件：
包含所有必需Hadoop软件的中央仓库
用于Hadoop部署的Puppet装载单(manifest)
用于Hadoop配置管理的Puppet装载单
用于集群维护的框架(主要是sh或ksh脚本)，以支持集群的start/stop/restart
利用puppet构建整个服务器(包括 *** 作系统和其它软件)
注：如果要用Yum来安装Hadoop集群，则所有服务器应该预先构建完成，包括 *** 作系统和其它软件都应安装完毕，yum仓库也应在所有节点上设置完毕。
构建Datanode/Tasktracker
如果用Yum安装Datanode/Tasktracker，需在所有数据节点上执行以下命令：
yum install hadoop-020-datanode –y
yum install hadoop-020-tasktracker –y
换成Puppet的话，则是：
class setup_datanode {
if ($is_datanode == true) {
make_dfs_data_dir { $hadoop_disks: }
make_mapred_local_dir { $hadoop_disks: }
fix_hadoop_parent_dir_perm { $hadoop_disks: }
}
# fix hadoop parent dir permissions
define fix_hadoop_parent_dir_perm() {
…
}
# make dfs data dir
define make_dfs_data_dir() {
…
}
# make mapred local and system dir
define make_mapred_local_dir() {
…
}
} # setup_datanode
构建Namenode(及辅助Namenode)
如果用Yum安装Namenode，需在所有数据节点上执行以下命令：
yum install hadoop-020-namenode –y
yum install hadoop-020-secondarynamenode –y
换成Puppet的话，则是：
class setup_namenode {
if ($is_namenode == true or $is_standby_namenode == true) {

}
exec {"namenode-dfs-perm":

}
exec { "make ${nfs_namenode_dir}/dfs/name":

}
exec { "chgrp ${nfs_namenode_dir}/dfs/name":

}
if ($standby_namenode_host != "") {

}
exec { "own $nfs_standby_namenode_dir":

}
}
# /standby_namenode_hadoop
if ($standby_namenode_host != "") {

}
exec { "own $standby_namenode_hadoop_dir":

}
}
}
}
class setup_secondary_namenode {
if ($is_secondarynamenode == true) {

}

}
exec {"namenode-dfs-perm":

}
}
}
构建JobTracker
如果用Yum安装Jobtracker，需在所有数据节点上执行以下命令：
yum install hadoop-020-jobtracker –y
换成Puppet的话，则是使用与构建Namenode相同的装载单，唯一的区别在于，在Jobtracker机器上，会启动Jobtracker——即将该机器上的is_jobtracker设置为true。

---