Hadoop集群有自动备份吗

Hadoop集群有自动备份。集群配置，这里是指我们将每个服务器配置成功后，每台服务器的Hadoop并没有连接起来，需要进行配置，将Hadoop平台连接。Hadoop的配置文件分为两大类，一类是默认配置文件，一类是自定义配置文件，当用户想修改某些默认配置文件时，才需要自定义配置文件。

Hadoop部署方式的分类

Hadoop部署方式分为三种：独立模式，伪分布式模式，集群模式，其中前两种都是在单机部署。独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。

伪分布式也是在1个机器上运行HDFS的Namenode和DataNode、YARN的ResourceManager和NodeManager，但分别启动单独的java进程，主要用于调试。集群模式主要用于生产环境部署，会使用N台主机组成一个Hadoop集群，这种部署模式下，主节点和从节点会分开部署在不同的机器上

ubuntu1604安装hadoop302单机模式

进行NameNode格式化
进入/usr/local/hadoop

启动NameNode 和 DataNode

输入jps，会出现如下进程

关闭dfs

配置mapred-sitexml

sudo vim /etc/hostname
将内容修改为master/slave1/slave2

ubuntu 1604安装hadoop302单机模式

解释下：第一个fsdefaultFS设置master机为namenode hadooptmpdir配置Hadoop的一个临时目录，用来存放每次运行的作业jpb的信息。

dfsnamenodenamedir是namenode存储永久性的元数据的目录列表。这个目录会创建在master机上。dfsnamenodedatadir是datanode存放数据块的目录列表，这个目录在slave11和slave1机都会创建。 dfsreplication 设置文件副本数，这里两个datanode，所以设置副本数为2。

解释下：这里设置的是运行jobtracker的服务器主机名和端口，也就是作业将在master主机的9001端口执行

Hadoop300在Ubuntu1604上分布式部署
ubuntu1604搭建hadoop集群环境
hadoop分布式集群安装

配 置 Zookeeper 接受客户端（这里所说的客户端不是用户连接 Zookeeper服务器的客户端，而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。
当已经超过 10 个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。
总的时间长度就是 52000=10 秒。

Kubernetes是一个开源项目，它把谷歌的集群管理工具引入到虚拟机和裸机场景中。它可以完美运行在现代的 *** 作系统环境（比如CoreOS
和Red Hat
Atomic），并提供可以被你管控的轻量级的计算节点。Kubernetes使用Golang开发，具有轻量化、模块化、便携以及可扩展的特点。我们
（Kubernetes开发团队）正在和一些不同的技术公司（包括维护着Mesos项目的MesoSphere）合作来把Kubernetes升级为一种
与计算集群交互的标准方式。Kubernetes重新实现了Google在构建集群应用时积累的经验。这些概念包括如下内容：
Pods：一种将容器组织在一起的方法；
Replication Controllers：一种控制容器生命周期的方法（译者注：Replication Controller确保任何时候Kubernetes集群中有指定数量的pod副本(replicas)在运行）；
Labels：一种可以找到和查询容器的方法；
Services：一个用于实现某一特定功能的容器组；
因此，只要使用Kubernetes你就能够简单并快速的启动、移植并扩展集群。在这种情况下，集群就像是类似虚拟机一样灵活的资源，它是一个逻辑运算单元。打开它，使用它，调整它的大小，然后关闭它，就是这么快，就是这么简单。
Mesos和Kubernetes的愿景差不多，但是它们在不同的生命周期中各有不同的优势。Mesos是分布式系统内核，它可以将不同的机器整
合在一个逻辑计算机上面。当你拥有很多的物理资源并想构建一个巨大的静态的计算集群的时候，Mesos就派上用场了。有很多的现代化可扩展性的数据处理应
用都可以在Mesos上运行，包括Hadoop、Kafka、Spark等，同时你可以通过容器技术将所有的数据处理应用都运行在一个基础的资源池中。在
某个方面来看，Mesos是一个比Kubernetes更加重量级的项目，但是得益于那些像Mesosphere一样的贡献者，Mesos正在变得更加简
单并且容易管理。
有趣的是Mesos正在接受Kubernetes的理念，并已经开始支持Kubernetes
API。因此如果你需要它们的话，它将是对你的Kubernetes应用去获得更多能力的一个便捷方式（比如高可用的主干、更加高级的调度命令、去管控很
大数目结点的能力），同时能够很好的适用于产品级工作环境中（毕竟Kubernetes仍然还是一个初始版本）。
当被问到区别的时候，我会这样回答：
如果你是一个集群世界的新手，那Kubernetes是一个很棒的开始。它可以用最快的、最简单的、最轻量级的方式来解决你的问题，并帮
助你进行面向集群的开发。它提供了一个高水平的可移植方案，因为很多厂商已经开始支持Kubernetes，例如微软、IBM、Red
Hat、CoreOS、MesoSphere、VMWare等。
如果你拥有已经存在的工作任务（Hadoop、Spark、Kafka等），那Mesos可以给你提供了一个将不同工作任务相互交错的框架，然后还可以加入一些新的东西，比如Kubernetes应用。
如果你想使用的功能Kuberntes还没实现，那Mesos是一个不错的替代品，毕竟它已经成熟。

前期准备
l 两台linux虚拟机（本文使用redhat5，IP分别为 IP1、IP2）
l JDK环境（本文使用jdk16，网上很多配置方法，本文省略）
l Hadoop安装包（本文使用Hadoop104）
搭建目标
210作为主机和节点机，211作为节点机。
搭建步骤
1修改hosts文件
在/etc/hosts中增加：
IP1 hadoop1
IP2 hadoop2

2 实现ssh无密码登陆
21 主机（master）无密码本机登陆
ssh-keygen -t dsa -P '' -f ~/ssh/id_dsa
直接回车，完成后会在 ~/ssh/ 生成两个文件： id_dsa 和 id_dsapub 。
这两个是成对出现，类似钥匙和锁。
再把 id_dsapub 追加到授权 key 里面 ( 当前并没有 authorized_key s文件 ) ：
cat ~/ssh/id_dsapub >> ~/ssh/authorized_keys

ssh localhost hostname
还是要输入密码，一般这种情况都是因为目录或文件的权限问题，看看系统日志，确实是权限问题
ssh下的authorized_keys权限为600，其父目录和祖父目录应为755
22 无密码登陆节点机（slave）
slave上执行：
ssh-keygen -t dsa -P '' -f ~/ssh/id_dsa

生成ssh目录。
将master上的authorized_keys复制到slave上：
scp authorized_keys hadoop2:~/ssh/

实验：在master上执行
ssh hadoop2

实现无密码登陆。
3 配置Hadoop
31拷贝hadoop
将hadoop-104targz ,拷贝到usr/local 文件夹下，然后解压。
解压命令：
tar –zxvf hadoop-104targz

32查看 cat /etc/hosts
IP1 hadoop1
IP2 hadoop2

33 配置 conf/masters 和 conf/slaves
conf/masters：
1

IP1

conf/slaves：
1
2

IP2
IP2

34 配置 conf/hadoop-envsh
加入
1

export JAVA_HOME=/home/elvis/soft/jdk170_17

35 配置 conf/core-sitexml
1
2
3
4

<property>
<name>fsdefaultname</name>
<value>hdfs://IP1:9000</value>
</property>

36 配置 conf/hdfs-sitexml
加入
<property>
<name>dfs>Hadoop即服务是最近伴随着hadoop的流行产生出来的一个云计算术语，是由Qubole Data Service (QDS) 或者是Amazon Web
Services’ Elastic MapReduce (EMR)提供的，也是一种云计算解决方案，hadoop本身是用来进行大数据处理的，但是去运营这样一个hadoop集群是有挑战的，不是所有公司都有这个能力和技术，特别是小公司，于是QDS和EMR就把它在云端将hadoop进行抽象，使得这些挑战可以对用户透明，使得中型和大型数据处理变得更加快速，容易，廉价。希望能帮到你。

---