yarn（资源调度平台）

yarn（资源调度平台）

目录

一：yarn架构分析

二：MapReduce在Yarn上执行流程

---

一：yarn架构分析

资源的调度和管理平台

主从结构

主节点，可以有2个：ResourceManager 相当于namenode是资源调度的

从节点，有很多个: NodeManager 进行执行任务

ResourceManager负责

集群资源的分配与调度

MapReduce、Storm、Spark等应用，必须实现ApplicationMaster接口，才能被RM管理

NodeManager负责

单节点资源的管理（CPU+内存） 硬盘

二：MapReduce在Yarn上执行流程

 

 

 

1：提交运行一个mapreduce（rm运行需要资源）

2：有一个mr，rm会开启一个container

3：container是资源分配的容器

4：在container中启动一个mapreduce （container给mapreduce用）

一个mapreduce可能有多个task 每个task运行都需要资源（通过rm分配contain）

mr继承一个接口application master（相当于mr）

rm需要知道mr中细节 有多少的task 应该分配多少个container

5：container给mr用

6：一个mr中有多个task每个task运行都需要资源（通过rm申请containner）

7：rm想要对mr进行资源分配 需要知道默认中的细节（有多少个task）分配多少个container

mr继承 application master

8：可以直接启动application master

注意：mr是mapreduce的缩写，rm是resourcemanager的缩写