官网260的安装教程：>
1 Hadoop HA架构详解
11 HDFS HA背景
HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。
影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用；二是计划内的NameNode节点软件或硬件升级，导致集群在短时间内不可用。
为了解决上述问题，Hadoop给出了HDFS的高可用HA方案：HDFS通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，比如处理来自客户端的RPC请求，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。
12 HDFS HA架构
一个典型的HA集群，NameNode会被配置在两台独立的机器上，在任何时间上，一个NameNode处于活动状态，而另一个NameNode处于备份状态，活动状态的NameNode会响应集群中所有的客户端，备份状态的NameNode只是作为一个副本，保证在必要的时候提供一个快速的转移。
为了让Standby Node与Active Node保持同步，这两个Node都与一组称为JNS的互相独立的进程保持通信(Journal Nodes)。当Active Node上更新了namespace，它将记录修改日志发送给JNS的多数派。Standby noes将会从JNS中读取这些edits，并持续关注它们对日志的变更。Standby Node将日志变更应用在自己的namespace中，当failover发生时，Standby将会在提升自己为Active之前，确保能够从JNS中读取所有的edits，即在failover发生之前Standy持有的namespace应该与Active保持完全同步。
为了支持快速failover，Standby node持有集群中blocks的最新位置是非常必要的。为了达到这一目的，DataNodes上需要同时配置这两个Namenode的地址，同时和它们都建立心跳链接，并把block位置发送给它们。
任何时刻，只有一个Active NameNode是非常重要的，否则将会导致集群 *** 作的混乱，那么两个NameNode将会分别有两种不同的数据状态，可能会导致数据丢失，或者状态异常，这种情况通常称为“split-brain”（脑裂，三节点通讯阻断，即集群中不同的Datanodes却看到了两个Active NameNodes）。对于JNS而言，任何时候只允许一个NameNode作为writer；在failover期间，原来的Standby Node将会接管Active的所有职能，并负责向JNS写入日志记录，这就阻止了其他NameNode基于处于Active状态的问题。
基于QJM的HDFS HA方案如上图所示，其处理流程为：集群启动后一个NameNode处于Active状态，并提供服务，处理客户端和DataNode的请求，并把editlog写到本地和share editlog（这里是QJM）中。另外一个NameNode处于Standby状态，它启动的时候加载fsimage，然后周期性的从share editlog中获取editlog，保持与Active节点的状态同步。为了实现Standby在Active挂掉后迅速提供服务，需要DataNode同时向两个NameNode汇报，使得Stadnby保存block to DataNode信息，因为NameNode启动中最费时的工作是处理所有DataNode的blockreport。为了实现热备，增加FailoverController和Zookeeper，FailoverController与Zookeeper通信，通过Zookeeper选举机制，FailoverController通过RPC让NameNode转换为Active或Standby。
13 HDFS HA配置要素
NameNode机器：两台配置对等的物理机器，它们分别运行Active和Standby Node。
JouralNode机器：运行JouralNodes的机器。JouralNode守护进程相当的轻量级，可以和Hadoop的其他进程部署在一起，比如NameNode、DataNode、ResourceManager等，至少需要3个且为奇数，如果你运行了N个JNS，那么它可以允许(N-1)/2个JNS进程失效并且不影响工作。
在HA集群中，Standby NameNode还会对namespace进行checkpoint *** 作（继承Backup Namenode的特性），因此不需要在HA集群中运行SecondaryNameNode、CheckpointNode或者BackupNode。
14 HDFS HA配置参数
需要在hdfsxml中配置如下参数：
dfsnameservices：HDFS NN的逻辑名称，例如myhdfs。
dfshanamenodesmyhdfs：给定服务逻辑名称myhdfs的节点列表，如nn1、nn2。
dfsnamenoderpc-addressmyhdfsnn1：myhdfs中nn1对外服务的RPC地址。
dfsnamenode>
dfsnamenodesharededitsdir：JournalNode的服务地址。
dfsjournalnodeeditsdir：JournalNode在本地磁盘存放数据的位置。
dfshaautomatic-failoverenabled：是否开启NameNode失败自动切换。
dfshafencingmethods ：配置隔离机制，通常为sshfence。
15 HDFS自动故障转移
HDFS的自动故障转移主要由Zookeeper和ZKFC两个组件组成。
Zookeeper集群作用主要有：一是故障监控。每个NameNode将会和Zookeeper建立一个持久session，如果NameNode失效，那么此session将会过期失效，此后Zookeeper将会通知另一个Namenode，然后触发Failover；二是NameNode选举。ZooKeeper提供了简单的机制来实现Acitve Node选举，如果当前Active失效，Standby将会获取一个特定的排他锁，那么获取锁的Node接下来将会成为Active。
ZKFC是一个Zookeeper的客户端，它主要用来监测和管理NameNodes的状态，每个NameNode机器上都会运行一个ZKFC程序，它的职责主要有：一是健康监控。ZKFC间歇性的ping NameNode，得到NameNode返回状态，如果NameNode失效或者不健康，那么ZKFS将会标记其为不健康；二是Zookeeper会话管理。当本地NaneNode运行良好时，ZKFC将会持有一个Zookeeper session，如果本地NameNode为Active，它同时也持有一个“排他锁”znode，如果session过期，那么次lock所对应的znode也将被删除；三是选举。当集群中其中一个NameNode宕机，Zookeeper会自动将另一个激活。
16 YARN HA架构
YARN的HA架构和HDFSHA类似，需要启动两个ResourceManager，这两个ResourceManager会向ZooKeeper集群注册，通过ZooKeeper管理它们的状态（Active或Standby）并进行自动故障转移。
2 高可用集群规划
21 集群规划
根据Hadoop的HA架构分析，规划整个集群由5台主机组成，具体情况如下表所示：
主机名
IP地址
安装的软件
JPS
hadoop-master1
172162081
Jdk/hadoop
Namenode/zkfc/resourcemanager/
JobHistoryServer
hadoop-master2
172162082
Jdk/hadoop
Namenode/zkfc/resourcemanager/
WebProxyServer
hadoop-slave1
172162083
Jkd/hadoop/zookeepe
Datanode/journalnode/nodemanager/
quorumPeerMain
hadoop-slave2
172162084
Jkd/hadoop/zookeeper
Datanode/journalnode/nodemanager/
quorumPeerMain
hadoop-slave3
172162085
Jkd/hadoop/zookeeper
Datanode/journalnode/nodemanager/
quorumPeerMain
需要说明以下几点：
HDFS HA通常由两个NameNode组成，一个处于Active状态，另一个处于Standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。
Hadoop 20官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode，这里还配置了一个Zookeeper集群，用于ZKFC故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为Active状态。
YARN的ResourceManager也存在单点故障问题，这个问题在hadoop-241得到了解决：有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调。
YARN框架下的MapReduce可以开启JobHistoryServer来记录历史任务信息，否则只能查看当前正在执行的任务信息。
Zookeeper的作用是负责HDFS中NameNode主备节点的选举，和YARN框架下ResourceManaer主备节点的选举。
22 软件版本
*** 作系统：CentOS Linux release 701406
JDK：Java(TM)SE Runtime Environment (build 170_79-b15)
Hadoop：Hadoop 260-cdh571
ZooKeeper：zookeeper-345-cdh571
3 Linux环境准备
集群各节点进行如下修改配置：
31 创建用户并添加权限
// 切换root用户
$ su root
// 创建hadoop用户组
# groupadd hadoop
// 在hadoop用户组中创建hadoop用户
# useradd -g hadoop hadoop
// 修改用户hadoop密码
# passwd hadoop
// 修改sudoers配置文件给hadoop用户添加sudo权限
# vim /etc/sudoers
hadoop ALL=(ALL) ALL
// 测试是否添加权限成功
# exit
$ sudo ls /root
32 修改IP地址和主机名
// 切换root用户
$ su root
// 修改本机IP地址
# vim /etc/sysconfig/network-scripts/ifcfg-eth0
// 重启网络服务
# service network restart
// 修改主机名
# hostnamectl set-hostname 主机名
// 查看主机名
# hostnamectl status
33 设置IP地址与主机名映射
// 切换root用户
$ su root
// 编辑hosts文件
# vim /etc/hosts
172162081 hadoop-master1
172162082 hadoop-master2
172162083 hadoop-slave1
172162084 hadoop-slave2
172162085 hadoop-slave3
34 关闭防火墙和Selinux
// 切换root用户
$ su root
// 停止firewall防火墙
# systemctl stop firewalldservice
// 禁止firewall开机启动
# systemctl disable firewalldservice
// 开机关闭Selinux
# vim /etc/selinux/config
SELINUX=disabled
// 重启机器后root用户查看Selinux状态
# getenforce
35 配置SSH免密码登录
// 在hadoop-master1节点生成SSH密钥对
$ ssh-keygen -t rsa
// 将公钥复制到集群所有节点机器上
$ ssh-copy-id hadoop-master1
$ ssh-copy-id hadoop-master2
$ ssh-copy-id hadoop-slave1
$ ssh-copy-id hadoop-slave2
$ ssh-copy-id hadoop-slave3
// 通过ssh登录各节点测试是否免密码登录成功
$ ssh hadoop-master2
备注：在其余节点上执行同样的 *** 作，确保集群中任意节点都可以ssh免密码登录到其它各节点。
36 安装JDK
// 卸载系统自带的openjdk
$ suroot
# rpm-qa | grep java
# rpm-e --nodeps java-170-openjdk-17075-2542el7_0x86_64
# rpm-e --nodeps java-170-openjdk-headless-17075-2542el7_0x86_64
# rpm-e --nodeps tzdata-java-2015a-1el7_0noarch
# exit
// 解压jdk安装包
$ tar-xvf jdk-7u79-linux-x64targz
// 删除安装包
$ rmjdk-7u79-linux-x64targz
// 修改用户环境变量
$ cd ~
$ vimbash_profile
exportJAVA_HOME=/home/hadoop/app/jdk170_79
exportPATH=$PATH:$JAVA_HOME/bin
// 使修改的环境变量生效
$ sourcebash_profile
// 测试jdk是否安装成功
$ java-version
4 集群时间同步
如果集群节点时间不同步，可能会出现节点宕机或引发其它异常问题，所以在生产环境中一般通过配置NTP服务器实现集群时间同步。本集群在hadoop-master1节点设置ntp服务器，具体方法如下：
// 切换root用户
$ su root
// 查看是否安装ntp
# rpm -qa | grep ntp
// 安装ntp
# yum install -y ntp
// 配置时间服务器
# vim /etc/ntpconf
# 禁止所有机器连接ntp服务器
restrict default ignore
# 允许局域网内的所有机器连接ntp服务器
restrict 17216200 mask 2552552550 nomodify notrap
# 使用本机作为时间服务器
server 12712710
// 启动ntp服务器
# service ntpd start
// 设置ntp服务器开机自动启动
# chkconfig ntpd on
集群其它节点通过执行crontab定时任务，每天在指定时间向ntp服务器进行时间同步，方法如下：
// 切换root用户
$ su root
// 执行定时任务，每天00:00向服务器同步时间，并写入日志
# crontab -e
0 0 /usr/sbin/ntpdate hadoop-master1>> /home/hadoop/ntpdlog
// 查看任务
# crontab -l
5 Zookeeper集群安装
Zookeeper是一个开源分布式协调服务，其独特的Leader-Follower集群结构，很好的解决了分布式单点问题。目前主要用于诸如：统一命名服务、配置管理、锁服务、集群管理等场景。大数据应用中主要使用Zookeeper的集群管理功能。
本集群使用zookeeper-345-cdh571版本。首先在hadoop-slave1节点安装Zookeeper，方法如下：
// 新建目录
$ mkdir app/cdh
// 解压zookeeper安装包
$ tar -xvf zookeeper-345-cdh571targz -C app/cdh/
// 删除安装包
$ rm -rf zookeeper-345-cdh571targz
// 配置用户环境变量
$ vim bash_profile
export ZOOKEEPER_HOME=/home/hadoop/app/cdh/zookeeper-345-cdh571
export PATH=$PATH:$ZOOKEEPER_HOME/bin
// 使修改的环境变量生效
$ sourcebash_profile
// 修改zookeeper的配置文件
$ cd app/cdh/zookeeper-345-cdh571/conf/
$ cp zoo_samplecfg zoocfg
$ vim zoocfg
# 客户端心跳时间(毫秒)
tickTime=2000
# 允许心跳间隔的最大时间
initLimit=10
# 同步时限
syncLimit=5
# 数据存储目录
dataDir=/home/hadoop/app/cdh/zookeeper-345-cdh571/data
# 数据日志存储目录
dataLogDir=/home/hadoop/app/cdh/zookeeper-345-cdh571/data/log
# 端口号
clientPort=2181
# 集群节点和服务端口配置
server1=hadoop-slave1:2888:3888
server2=hadoop-slave2:2888:3888
server3=hadoop-slave3:2888:3888
# 以下为优化配置
# 服务器最大连接数，默认为10，改为0表示无限制
maxClientCnxns=0
# 快照数
autopurgesnapRetainCount=3
# 快照清理时间，默认为0
autopurgepurgeInterval=1
// 创建zookeeper的数据存储目录和日志存储目录
$ cd
$ mkdir -p data/log
// 在data目录中创建一个文件myid，输入内容为1
$ echo "1" >> data/myid
// 修改zookeeper的日志输出路径(注意CDH版与原生版配置文件不同)
$ vim libexec/zkEnvsh
if [ "x${ZOO_LOG_DIR}" = "x" ]
then
ZOO_LOG_DIR="$ZOOKEEPER_HOME/logs"
fi
if [ "x${ZOO_LOG4J_PROP}" = "x" ]
then
ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
fi
// 修改zookeeper的日志配置文件
$ vim conf/log4jproperties
zookeeperrootlogger=INFO,ROLLINGFILE
// 创建日志目录
$ mkdir logs
将hadoop-slave1节点上的Zookeeper目录同步到hadoop-slave2和hadoop-slave3节点，并修改Zookeeper的数据文件。此外，不要忘记设置用户环境变量。
// 在hadoop-slave1中将zookeeper目录复制到其它节点
$ cd ~
$ scp -r app/cdh/zookeeper-345-cdh571hadoop-slave2:/home/hadoop/app/cdh
$ scp -r app/cdh/zookeeper-345-cdh571 hadoop-slave3:/home/hadoop/app/cdh
//在hadoop-slave2中修改data目录中的myid文件
$ echo "2" >app/cdh/zookeeper-345-cdh571/data/myid
//在hadoop-slave3中修改data目录中的myid文件
$ echo "3" >app/cdh/zookeeper-345-cdh571/data/myid
最后，在安装了Zookeeper的各节点上启动Zookeeper，并查看节点状态，方法如下：
// 启动
$ zkServersh start
// 查看状态
$ zkServersh status
// 关闭
ubuntu1604安装hadoop302单机模式进行NameNode格式化
进入/usr/local/hadoop
启动NameNode 和 DataNode
输入jps，会出现如下进程
关闭dfs
配置mapred-sitexml
sudo vim /etc/hostname
将内容修改为master/slave1/slave2
ubuntu 1604安装hadoop302单机模式
解释下：第一个fsdefaultFS设置master机为namenode hadooptmpdir配置Hadoop的一个临时目录，用来存放每次运行的作业jpb的信息。
dfsnamenodenamedir是namenode存储永久性的元数据的目录列表。这个目录会创建在master机上。dfsnamenodedatadir是datanode存放数据块的目录列表，这个目录在slave11和slave1机都会创建。 dfsreplication 设置文件副本数，这里两个datanode，所以设置副本数为2。
解释下：这里设置的是运行jobtracker的服务器主机名和端口，也就是作业将在master主机的9001端口执行
Hadoop300在Ubuntu1604上分布式部署
ubuntu1604搭建hadoop集群环境
hadoop分布式集群安装越来越多的企业开始使用Hadoop来对大数据进行处理分析，但Hadoop集群的整体性能却取决于CPU、内存、网络以及存储之间的性能平衡。而在这篇文章中，我们将探讨如何为Hadoop集群构建高性能网络，这是对大数据进行处理分析的关键所在。
关于Hadoop
“大数据”是松散的数据集合，海量数据的不断增长迫使企业需要通过一种新的方式去管理。大数据是结构化或非结构化的多种数据类型的大集合。而 Hadoop则是Apache发布的软件架构，用以分析PB级的非结构化数据，并将其转换成其他应用程序可管理处理的形式。Hadoop使得对大数据处理成为可能，并能够帮助企业可从客户数据之中发掘新的商机。如果能够进行实时处理或者接近实时处理，那么其将为许多行业的用户提供强大的优势。
Hadoop是基于谷歌的MapReduce和分布式文件系统原理而专门设计的，其可在通用的网络和服务器硬件上进行部署，并使之成为计算集群。
Hadoop模型
Hadoop的工作原理是将一个非常大的数据集切割成一个较小的单元，以能够被查询处理。同一个节点的计算资源用于并行查询处理。当任务处理结束后，其处理结果将被汇总并向用户报告，或者通过业务分析应用程序处理以进行进一步分析或仪表盘显示。
为了最大限度地减少处理时间，在此并行架构中，Hadoop“moves jobs to data”，而非像传统模式那样“moving data to jobs”。这就意味着，一旦数据存储在分布式系统之中，在实时搜索、查询或数据挖掘等 *** 作时，如访问本地数据，在数据处理过程中，各节点之间将只有一个本地查询结果，这样可降低运营开支。
Hadoop的最大特点在于其内置的并行处理和线性扩展能力，提供对大型数据集查询并生成结果。在结构上，Hadoop主要有两个部分：
Hadoop分布式文件系统(HDFS)将数据文件切割成数据块，并将其存储在多个节点之内，以提供容错性和高性能。除了大量的多个节点的聚合I/O，性能通常取决于数据块的大小——如128MB。而传统的Linux系统下的较为典型的数据块大小可能是4KB。
MapReduce引擎通过JobTracker节点接受来自客户端的分析工作，采用“分而治之”的方式来将一个较大的任务分解成多个较小的任务，然后分配给各个TaskTrack节点，并采用主站/从站的分布方式(具体如下图所示)：
Hadoop系统有三个主要的功能节点：客户机、主机和从机。客户机将数据文件注入到系统之中，从系统中检索结果，以及通过系统的主机节点提交分析工作等。主机节点有两个基本作用：管理分布式文件系统中各节点以及从机节点的数据存储，以及管理Map/Reduce从机节点的任务跟踪分配和任务处理。数据存储和分析处理的实际性能取决于运行数据节点和任务跟踪器的从机节点性能，而这些从机节点则由各自的主机节点负责沟通和控制。从节点通常有多个数据块，并在作业期间被分配处理多个任务。
部署实施Hadoop
各个节点硬件的主要要求是市县计算、内存、网络以及存储等四个资源的平衡。目前常用的并被誉为“最佳”的解决方案是采用相对较低成本的旧有硬件，部署足够多的服务器以应对任何可能的故障，并部署一个完整机架的系统。
Hadoop模式要求服务器与SAN或者NAS进行直接连接存储(DAS)。采用DAS主要有三个原因，在标准化配置的集群中，节点的缩放数以千计，随着存储系统的成本、低延迟性以及存储容量需求不断提高，简单配置和部署个主要的考虑因素。随着极具成本效益的1TB磁盘的普及，可使大型集群的TB级数据存储在DAS之上。这解决了传统方法利用SAN进行部署极其昂贵的困境，如此多的存储将使得Hadoop和数据存储出现一个令人望而却步的起始成本。有相当大一部分用户的Hadoop部署构建都是采用大容量的DAS服务器，其中数据节点大约1-2TB，名称控制节点大约在1-5TB之间，具体如下图所示：
来源：Brad Hedlund, DELL公司
对于大多数的Hadoop部署来说，基础设施的其他影响因素可能还取决于配件，如服务器内置的千兆以太网卡或千兆以太网交换机。上一代的CPU和内存等硬件的选择，可根据符合成本模型的需求，采用匹配数据传输速率要求的千兆以太网接口来构建低成本的解决方案。采用万兆以太网来部署Hadoop也是相当不错的选择。
万兆以太网对Hadoop集群的作用
千兆以太网的性能是制约Hadoop系统整体性能的一个主要因素。使用较大的数据块大小，例如，如果一个节点发生故障(甚至更糟，整个机架宕机)，那么整个集群就需要对TB级的数据进行恢复，这就有可能会超过千兆以太网所能提供的网络带宽，进而使得整个集群性能下降。在拥有成千上万个节点的大型集群中，当运行某些需要数据节点之间需要进行中间结果再分配的工作负载时，在系统正常运行过程中，某个千兆以太网设备可能会遭遇网络拥堵。
每一个Hadoop数据节点的目标都必须实现CPU、内存、存储和网络资源的平衡。如果四者之中的任意一个性能相对较差的话，那么系统的潜在处理能力都有可能遭遇瓶颈。添加更多的CPU和内存组建，将影响存储和网络的平衡，如何使Hadoop集群节点在处理数据时更有效率，减少结果，并在Hadoop集群内添加更多的HDFS存储节点。
幸运的是，影响CPU和内存发展的摩尔定律，同样也正影响着存储技术(TB级容量的磁盘)和以太网技术(从千兆向万兆甚至更高)的发展。预先升级系统组件(如多核处理器、每节点5-20TB容量的磁盘，64-128GB内存)，万兆以太网卡和交换机等网络组件是重新平衡资源最合理的选择。万兆以太网将在Hadoop集群证明其价值，高水平的网络利用率将带来效益更高的带宽。下图展示了Hadoop集群与万兆以太网的连接：
许多企业级数据中心已经迁移到10GbE网络，以实现服务器整合和服务器虚拟化。随着越来越多企业开始部署Hadoop，他们发现他们完全不必要大批量部署1U的机架服务器，而是部署更少，但性能更高的服务器，以方便扩展每个数据节点所能运行的任务数量。很多企业选择部署2U或4U的服务器(如戴尔 PowerEdge C2100)，每个节点大约12-16个核心以及24TB存储容量。在这种环境下的合理选择是充分利用已经部署的10GbE设备和Hadoop集群中的 10GbE网卡。
在日常的IT环境中构建一个简单的Hadoop集群。可以肯定的是，尽管有很多细节需要微调，但其基础是非常简单的。构建一个计算、存储和网络资源平衡的系统，对项目的成功至关重要。对于拥有密集节点的Hadoop集群而言，万兆以太网能够为计算和存储资源扩展提供与之相匹配的能力，且不会导致系统整体性能下降。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）