2021-12-30大数据学习日志——面试题——Apache Hadoop

2021-12-30大数据学习日志——面试题——Apache Hadoop 1、集群的最主要瓶颈

磁盘IO：
    当我们面临集群作战的时候，我们所希望的是即读即得。可是面对大数据，读取数据需要经过IO，这里可以把IO理解为水的管道。管道越大越强，我们对于T级的数据读取就越快。所以IO的好坏，直接影响了集群对于数据的处理

2、Hadoop运行模式

（1）独立（本地）运行模式：无需任何守护进程，所有的程序都运行在同一个JVM上执行。在独立模式下调试MR程序非常高效方便。所以一般该模式主要是在学习或者开发阶段调试使用
（2）伪分布式模式：Hadoop守护进程运行在本地机器上，模拟一个小规模的集群，在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondarynamenode等5个进程，模拟分布式运行的各个节点，换句话说，可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例，
（3）完全分布式模式：Hadoop守护进程运行在一个集群上

3、Hadoop生态圈的组件并做简要描述

核心组件：
（1）HDFS：Hadoop Distributed File System，是个分布式文件系统，是hadoop的一个核心部分。HDFS有高容错性(fault-tolerent)的特点，并且设计用来部署在低廉价的(low-cost)的硬件上，提供了高吞吐量(high-throughout)来访问应用程序的数据，适合那些有着超大数据集(largedata set)的应用程序。HDFS开始是为开源的apache项目nutch的基础结构而创建的
（2）YARN：资源协调者、Hadoop 资源管理器，提供统一的资源管理和调度
（3）MapReduce：是一个编程模型，一个处理和生成超大数据集算法模型的实现，简单概括就是“数据分解、并行计算、结果合并“。Mapreduce最大的优点是它简单的编程模型，程序猿只需根据该模型框架设计map和reduce函数，剩下的任务，如：分布式存储、节点任务调度、节点通讯、容错处理和故障处理都由mapreudce框架来完成，程序的设计有很高的扩展性
其他组件：
（1）Zookeeper：是一个开源的分布式应用程序协调服务，基于zookeeper可以实现同步服务，配置维护，命名服务
（2）Flume：一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统
（3）Hbase：是一个分布式的、面向列的开源数据库, 利用Hadoop HDFS作为其存储系统
（4）Hive：基于Hadoop的一个数据仓库工具，可以将结构化的数据档映射为一张数据库表，并提供简单的sql 查询功能，可以将sql语句转换为MapReduce任务进行运行
（5）Sqoop：将一个关系型数据库中的数据导进到Hadoop的 HDFS中，也可以将HDFS的数据导进到关系型数据库中

4、解释“hadoop”和“hadoop 生态系统”两个概念

（1）Hadoop是指Hadoop框架本身
（2）Hadoop生态系统，不仅包含hadoop，还包括保证hadoop框架正常高效运行其他框架，比如zookeeper、Flume、Hbase、Hive、Sqoop等辅助框架

5、请列出正常工作的Hadoop集群中Hadoop都分别需要启动哪些进程，它们的作用分别是什么?

（1）NameNode：它是hadoop中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问，保存有metadate。
（2）SecondaryNameNode：它不是namenode的冗余守护进程，而是提供周期检查点和清理任务。帮助NN合并editslog，减少NN启动时间。
（3）DataNode：它负责管理连接到节点的存储（一个集群中可以有多个节点）。每个存储数据的节点运行一个datanode守护进程。
（4）ResourceManager（JobTracker）：JobTracker负责调度DataNode上的工作。每个DataNode有一个TaskTracker，它们执行实际工作。
（5）NodeManager：（TaskTracker）执行任务。
（6）DFSZKFailoverController：高可用时它负责监控NN的状态，并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利，因为最多只有两个节点，目前选择策略还比较简单（先到先得，轮换）。
（7）JournalNode：高可用情况下存放namenode的editlog文件。