Hadoop生态之YARN

Hadoop生态之YARN

YARN（Yet Another Resource Negotiator）是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的 *** 作系统平台，而MapReduce等运算程序相当于运行在 *** 作系统之上的应用程序。

ResourceManager负责协调和管理整个集群资源，相应用户提交的不同类型应用程序的解析、调度、监控等工作。有两个组件构成：调度器(Scheduler)和应用程序管理器(Applications Master)。

NodeManager是YARN集群中真正资源的提供者，是真正执行应用程序容器的提供者，监控应用程序的资源使用情况，并通过心跳向几圈资源调度器ResourceManager进行汇报。

Container是一个抽象出来的逻辑资源单位。它封装了一个节点上的CPU、内存、磁盘和网络等信息，MapReduce程序的所有Task都是一个容器里执行完成的，容器大小可以动态调整。

调度器

        1.FIFO(先进先出调度器)

                单队列，根据提交作业的先后顺序进行执行

                优点：简单方便

                缺点：不支持多队列，生产环境较少使用

        2.Capacity