yarn执行流程(大明版)

yarn执行流程(大明版),第1张

yarn执行流程(大明版)

1,提交任务到RM,RM创建专属AM,管理该任务。
(嘉靖帝(client)想修长城(job),让内阁(RM)去办,内阁成立修长城领导小组(job_id),负责人严嵩(AM)管理该任务)。

2,AM将任务加载到任务调度器,等待执行
 (严嵩(AM)把任务指派到工部(RS),让其找人执行)
 
3,调度器RS把空闲NM路径提交给AM,
  工部(RS)把浙江节点(NM)空闲人员名单(路径)交给严嵩(AM)
  
4,AM在NM中开辟容器,运行任务主节点master
  严嵩(AM)在浙江节点(NM)成立管理中心(开辟容器),让胡宗宪(master)具体负责

5,master获取hdfs文件,生成task,并向RM申请资源运行
  胡宗宪管理组(master)查阅资料,计算所需的人力物力,并向内阁(RM)申请

6,RM返回空闲NM资源路径。
  内阁(RM)高诉胡宗宪管理组(master) 安徽节点(NM),江苏(NM)节点等地有资源空闲
  
7,master通知NM开辟容器,运行task
  胡宗宪管理组(master)通知安徽节点(NM),江苏(NM)节点。 
  让其成立海瑞工作组(容器),郑泌昌工作组(容器),何茂才工作组(容器)等进行干活。
  
8,task和master交互,master管理任务运行进度
  胡宗宪管理组(master)分配给各工作组任务,并管理任务进度。
  
9,运行完毕,master向RM申请注销自己
  任务完成后,胡宗宪管理组(master)向内阁(RM)申请辞职,并等待下一个任务(释放资源)。
RM:ResourceManager,是Yarn的核心组件,其主要功能是负责系统资源的管理和分配。

AM:Applications Manager,应用程序管理器,负责管理整个系统中所有应用程序,
    包括应用程序提交、向任务调度器申请资源启动。

NM:NodeManager,是每个子节点上的资源和任务管理器。

master: ApplicationMaster,为应用向ResourceManager申请资源、
      在job对Task实行调度、与NodeManager通信以启动或者停止任务、监控所有任务的运行情况,
	  并且在任务失败的情下,重新为任务申请资源并且重启任务、负责推测任务的执行、
	  当ApplicationMaster向ResourceManager注册后,ApplicationMaster可以提供客户端查询作业进度信息等。

容器:Container,是Yarn中对系统资源的抽象,同时它也是系统资源分配的基本单位,
       它封装节点上多维度资源,其中包括CPU、内存、磁盘、网络等。

RS:YarnScheduler,任务调度器根据系统资源容量以及管理员对队列的限制条件,
   按照一定的策略将资源分配给正在运行的应用程序。

1,提交任务到RM,RM创建专属AM,管理该任务。
(嘉靖帝(client)想修长城(job),让内阁(RM)去办,内阁成立修长城领导小组(job_id),负责人严嵩(AM)管理该任务)。

2,AM将任务加载到任务调度器,等待执行
 (严嵩(AM)把任务指派到工部(RS),让其找人执行)
 
3,调度器RS把空闲NM路径提交给AM,
  工部(RS)把浙江节点(NM)空闲人员名单(路径)交给严嵩(AM)
  
4,AM在NM中开辟容器,运行任务主节点master
  严嵩(AM)在浙江节点(NM)成立管理中心(开辟容器),让胡宗宪(master)具体负责

5,master获取hdfs文件,生成task,并向RM申请资源运行
  胡宗宪管理组(master)查阅资料,计算所需的人力物力,并向内阁(RM)申请

6,RM返回空闲NM资源路径。
  内阁(RM)高诉胡宗宪管理组(master) 安徽节点(NM),江苏(NM)节点等地有资源空闲
  
7,master通知NM开辟容器,运行task
  胡宗宪管理组(master)通知安徽节点(NM),江苏(NM)节点。 
  让其成立海瑞工作组(容器),郑泌昌工作组(容器),何茂才工作组(容器)等进行干活。
  
8,task和master交互,master管理任务运行进度
  胡宗宪管理组(master)分配给各工作组任务,并管理任务进度。
  
9,运行完毕,master向RM申请注销自己
  任务完成后,胡宗宪管理组(master)向内阁(RM)申请辞职,并等待下一个任务(释放资源)。

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5680850.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存