大数据之-Hadoop3.x

大数据之-Hadoop3.x

然后我们再来看一下yarn这个资源调度器怎么去用,

 

yarn是个资源调度器,不光是在hadoop集群中有应用,在我们将来学的

spark,flink等中也有应用.

首先了解一下,yarn基础架构,yarn的工资机制,

MapReduce,和hdfs,yarn是怎么协调工资的,然后

再去了解调度器和调度算法

然后再了解yarn在生产环境下需要配置哪些参数,

然后再学习命令行怎么 *** 作yarn

 

然后再去看如何 *** 作yarn,

生产环境下怎么配置参数

等

第4点,yarn的tool接口,就是来协调,比如我们MapReduce程序的输入,

输出,args[0],args[1],这个输入输出参数,原来我们是写死的,但实际应用中不可能写死,

这个怎么配置,交给yarn来调度,需要用到tool接口.

技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152 
CSDN账号:脑瓜凉
开通了个人技术微信公众号:脑瓜凉 有需要的朋友可以添加相互学习