Yarn资源管理与调度

Yarn资源管理与调度

Spark yarn 模式有两种

• yarn-client，其中yarn-client适合测试环境
• yarn-cluster， yarn-cluster适合生产环境

在详细说明Yarn模式之前， 需要先了解几个名词

• ResourceManager: 整个集群只有一个， 负责集群资源的统一管理和调度， 因为整个集群只有一个，所以也有单点问题
• NodeManager： 它可以理解为集群中的每一台slave
• AM: application master, 对于每一个应用程序都有一个AM, AM主要是向RM申请资源（资源其实就是Container， 目前这个Container就是cpu cores, memory), 然后在每个NodeManager上启动Executors（进一步分布资源给内部任务）， 监控跟踪应用程序的进程等。

这里就引入了YARN的调度框架问题： 双层调度框架
(1)RM统一管理集群资源，分配资源给AM
(2)AM将资源进一步分配给Tasks

等待日志：
21/07/29 16:50:13 WARN YarnClusterScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources