1,提交任务到RM,RM创建专属AM,管理该任务。 (嘉靖帝(client)想修长城(job),让内阁(RM)去办,内阁成立修长城领导小组(job_id),负责人严嵩(AM)管理该任务)。 2,AM将任务加载到任务调度器,等待执行 (严嵩(AM)把任务指派到工部(RS),让其找人执行) 3,调度器RS把空闲NM路径提交给AM, 工部(RS)把浙江节点(NM)空闲人员名单(路径)交给严嵩(AM) 4,AM在NM中开辟容器,运行任务主节点master 严嵩(AM)在浙江节点(NM)成立管理中心(开辟容器),让胡宗宪(master)具体负责 5,master获取hdfs文件,生成task,并向RM申请资源运行 胡宗宪管理组(master)查阅资料,计算所需的人力物力,并向内阁(RM)申请 6,RM返回空闲NM资源路径。 内阁(RM)高诉胡宗宪管理组(master) 安徽节点(NM),江苏(NM)节点等地有资源空闲 7,master通知NM开辟容器,运行task 胡宗宪管理组(master)通知安徽节点(NM),江苏(NM)节点。 让其成立海瑞工作组(容器),郑泌昌工作组(容器),何茂才工作组(容器)等进行干活。 8,task和master交互,master管理任务运行进度 胡宗宪管理组(master)分配给各工作组任务,并管理任务进度。 9,运行完毕,master向RM申请注销自己 任务完成后,胡宗宪管理组(master)向内阁(RM)申请辞职,并等待下一个任务(释放资源)。
RM:ResourceManager,是Yarn的核心组件,其主要功能是负责系统资源的管理和分配。 AM:Applications Manager,应用程序管理器,负责管理整个系统中所有应用程序, 包括应用程序提交、向任务调度器申请资源启动。 NM:NodeManager,是每个子节点上的资源和任务管理器。 master: ApplicationMaster,为应用向ResourceManager申请资源、 在job对Task实行调度、与NodeManager通信以启动或者停止任务、监控所有任务的运行情况, 并且在任务失败的情下,重新为任务申请资源并且重启任务、负责推测任务的执行、 当ApplicationMaster向ResourceManager注册后,ApplicationMaster可以提供客户端查询作业进度信息等。 容器:Container,是Yarn中对系统资源的抽象,同时它也是系统资源分配的基本单位, 它封装节点上多维度资源,其中包括CPU、内存、磁盘、网络等。 RS:YarnScheduler,任务调度器根据系统资源容量以及管理员对队列的限制条件, 按照一定的策略将资源分配给正在运行的应用程序。
1,提交任务到RM,RM创建专属AM,管理该任务。
(嘉靖帝(client)想修长城(job),让内阁(RM)去办,内阁成立修长城领导小组(job_id),负责人严嵩(AM)管理该任务)。
2,AM将任务加载到任务调度器,等待执行
(严嵩(AM)把任务指派到工部(RS),让其找人执行)
3,调度器RS把空闲NM路径提交给AM,
工部(RS)把浙江节点(NM)空闲人员名单(路径)交给严嵩(AM)
4,AM在NM中开辟容器,运行任务主节点master
严嵩(AM)在浙江节点(NM)成立管理中心(开辟容器),让胡宗宪(master)具体负责
5,master获取hdfs文件,生成task,并向RM申请资源运行
胡宗宪管理组(master)查阅资料,计算所需的人力物力,并向内阁(RM)申请
6,RM返回空闲NM资源路径。
内阁(RM)高诉胡宗宪管理组(master) 安徽节点(NM),江苏(NM)节点等地有资源空闲
7,master通知NM开辟容器,运行task
胡宗宪管理组(master)通知安徽节点(NM),江苏(NM)节点。
让其成立海瑞工作组(容器),郑泌昌工作组(容器),何茂才工作组(容器)等进行干活。
8,task和master交互,master管理任务运行进度
胡宗宪管理组(master)分配给各工作组任务,并管理任务进度。
9,运行完毕,master向RM申请注销自己
任务完成后,胡宗宪管理组(master)向内阁(RM)申请辞职,并等待下一个任务(释放资源)。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)