hadoop下怎样在命令行中设置job的优先级

hadoop下怎样在命令行中设置job的优先级,第1张

作业提交到的队列:mapreduce.job.queuename

作业优先级:mapreduce.job.priority

Pig版本:

SET mapreduce.job.queuename root.etl.distcp

SET mapreduce.job.priority HIGH

Hive版本:

SET mapreduce.job.queuename=root.etl.distcp

SET mapreduce.job.priority=HIGH

MapReduce版本:

hadoop jar app.jar -D mapreduce.job.queuename=root.etl.distcp -D mapreduce.job.priority=HIGH

YARN(一种新的Hadoop资源管理器)能够实现任务抢占.容量调度器与公平调度器可以通过静态配置杀死那些占用集群资源的任务,从而让高优先级任务进行调度。

性能预测Hadoop本身应该做不了吧,需要相应的监控和管理,对任务占用资源进行计算。

一个节点需要执行的命令 答:(1)hadoop job Clist 得到job的id,然后执 行 hadoop job -kill jobId就可以杀死一个指定jobId的job工作了。 (2)hadoop fs -rmr /tmp/aaa 3 增加一个新的节点在新的几点上执行 Hadoop daemon.sh start datanode Hadooop daemon.sh start tasktracker 然后在主节点中执行 hadoop dfsadmin -refreshnodes 删除一个节点的时候,只需要在主节点执行 hadoop mradmin -refreshnodes 请列出你所知道的hadoop调度器,并简要说明其工作方法 答:Fifo schedular :默认,先进先出的原则 Capacity sc


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/tougao/7756868.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-09
下一篇 2023-04-09

发表评论

登录后才能评论

评论列表(0条)

保存