初学Hadoop笔记

初学Hadoop笔记

1 HADOOP提供的功能：

利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理

2 HADOOP的特性：

（1）HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，hadoop1.x老版本中是64M

（2）HDFS文件系统会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件

（3）目录结构及文件分块信息(元数据)的管理由namenode节点承担,namenode是HDFS集群主节点，负责维护整个hdfs文件系统的目录树，以及每一个路径（文件）所对应的block块信息（block的id，及所在的datanode服务器）

（4）文件的各个block的存储管理由datanode节点承担,datanode是HDFS集群从节点，每一个block都可以在多个datanode上存储多个副本（副本数量也可以通过参数设置dfs.replication）  

（5）HDFS是设计成适应一次写入，多次读出的场景，且不支持文件的修改(不支持从中间插入数据，支持追加)

 3 HADOOP应用案例介绍：

（1）HADOOP应用于数据服务基础平台建设

（2） HADOOP用于用户画像

 （3）HADOOP用于网站点击流日志数据挖掘

 4 HADOOP生态圈以及各组成部分的简介

HDFS：分布式文件系统

MAPREDUCE：分布式运算程序开发框架

HIVE：基于大数据技术（文件系统+运算框架）的SQL数据仓库工具

Hbase：基于HADOOP的分布式海量数据库

ZOOKEEPER:分布式协调服务基础组件

Mahout：基于mapreduce/spark/flink等分布式运算框架的机器学习算法库

Oozie：工作流调度框架（Azakaba）

Sqoop：数据导入导出工具

Flume：日志数据采集框架

5  数据流程解析

1. ）数据采集：定制开发采集程序，或使用开源框架FLUME
2. ）数据预处理：定制开发mapreduce程序运行于hadoop集群
3. ）数据仓库技术：基于hadoop之上的Hive
4. ）数据导出：基于hadoop的sqoop数据导入导出工具
5. ）数据可视化：定制开发web程序或使用kettle等产品
6. ）整个过程的流程调度：hadoop生态圈中的oozie工具或其他类似开源产品

HDFS集群：

负责海量数据的存储，集群中的角色主要有 NameNode / DataNode

NameNode：负责管理整个文件系统的元数据

DataNode：负责管理用户的文件数据块

1）文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上

2）每一个文件块可以有多个副本，并存放在不同的datanode上

3）Datanode会定期向Namenode汇报自身所保存的文件block信息，而namenode则会负责保持文件的副本数量

4）HDFS的内部工作机制对客户端保持透明，客户端请求访问HDFS都是通过向namenode申请来进行

（还有一个sencondnamenode角色，其作用是：当客户发生增删改的时候，帮助namenode去合并fsiamge镜像文件与edits log日志文件）

YARN集群：

负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager

resourceManager：主节点的资源管理者

nodeManger：从节点的资源管理者

HDFS的写数据流程（将本地数据上传到HDFS）

客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本（client负责复制block块）

详细步骤解析：

1、与namenode通信请求上传文件，namenode检查目标文件是否已存在，父目录是否存在

2、namenode返回是否可以上传

3、client请求第一个 block该传输到哪些datanode服务器上

4、namenode返回3个datanode服务器ABC

5、client请求3台datanode中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用B，然后B调用C，将真个pipeline建立完成，逐级返回客户端

6、client开始往A上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，A收到一个packet就会传给B，B传给C；A每传一个packet会放入一个应答队列等待应答

7、当一个block传输完成之后，client再次请求namenode上传第二个block的服务器

 HDFS读数据流程 (从hdfs下载)

客户端将要读取的文件路径发送给namenode，namenode获取文件的元信息（主要是block的存放位置信息）返回给客户端，客户端根据返回的信息找到相应datanode逐个获取文件的block并在客户端本地进行数据追加合并从而获得整个文件

详细步骤解析：

跟namenode通信查询元数据，找到文件块所在的datanode服务器

2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流

3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验）

4、客户端以packet为单位接收，现在本地缓存，然后写入目标文件