作业优先级:mapreduce.job.priority
Pig版本:
SET mapreduce.job.queuename root.etl.distcp
SET mapreduce.job.priority HIGH
Hive版本:
SET mapreduce.job.queuename=root.etl.distcp
SET mapreduce.job.priority=HIGH
MapReduce版本:
hadoop jar app.jar -D mapreduce.job.queuename=root.etl.distcp -D mapreduce.job.priority=HIGH
YARN(一种新的Hadoop资源管理器)能够实现任务抢占.容量调度器与公平调度器可以通过静态配置杀死那些占用集群资源的任务,从而让高优先级任务进行调度。性能预测Hadoop本身应该做不了吧,需要相应的监控和管理,对任务占用资源进行计算。
一个节点需要执行的命令 答:(1)hadoop job Clist 得到job的id,然后执 行 hadoop job -kill jobId就可以杀死一个指定jobId的job工作了。 (2)hadoop fs -rmr /tmp/aaa 3 增加一个新的节点在新的几点上执行 Hadoop daemon.sh start datanode Hadooop daemon.sh start tasktracker 然后在主节点中执行 hadoop dfsadmin -refreshnodes 删除一个节点的时候,只需要在主节点执行 hadoop mradmin -refreshnodes 请列出你所知道的hadoop调度器,并简要说明其工作方法 答:Fifo schedular :默认,先进先出的原则 Capacity sc欢迎分享,转载请注明来源:内存溢出
评论列表(0条)