hadoop某节点运行较慢,通过什么机制解决

hadoop某节点运行较慢,通过什么机制解决,第1张

一个节点需要执行的命令 答:(1)hadoop job Clist 得到job的id,然后执 行 hadoop job -kill jobId就可以杀死一个指定jobId的job工作了。 (2)hadoop fs -rmr /tmp/aaa 3 增加一个新的节点在新的几点上执行 Hadoop daemon.sh start datanode Hadooop daemon.sh start tasktracker 然后在主节点中执行 hadoop dfsadmin -refreshnodes 删除一个节点的时候,只需要在主节点执行 hadoop mradmin -refreshnodes 请列出你所知道的hadoop调度器,并简要说明其工作方法 答:Fifo schedular :默认,先进先出的原则 Capacity sc

里假设集群中有slave1,slave2,slave3三个节点,其中slave3工作效率低。

一共有6个任务,需要去做,slave1和slave2执行一个任务是1分钟,slave3执行一个任务是2分钟。有一个前提是每个slave完成自身的任务才回去推测执行。

如果让slave1和slave2去做,则需要3分钟,分析如下:

slave1 slave2

33

3*1 3*1

并行执行总时间就是单个slave的执行时间3;

那么三台同时去做需要4分钟。

slave1 slave2 slave3

222

这里slave1和slave2都完成了自身的任务,已经花费了2分钟,剩下最后一个任务考虑到数据的本地性也分给了slave3,slave3执行时间超过一分钟时,jobtracker会觉得slave3可能没有能力完成分配给他的任务,假设在slave1上推测执行,结果slave3结束了,就将运行在slave1上的推测执行任务kill掉,最后执行时间是4秒。

因为在推测执行的时候会两个推测执行的任务会同时完成。

写入速度慢是多方面 造成的 第一 网络 10G 你确定 10G 就没有掉包的情况吗?

第二 磁盘写入速度 也是受到 环境影响 如卡磁盘 磁盘质量不行,有坏道 或者是磁盘快满了

等等 都会造成读写速度下降。

第三 程序 在写 程序的时候 处理过程是否过长 写入HDFS 时候 文件是否过大 等等!~!


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/yw/11615548.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-17
下一篇 2023-05-17

发表评论

登录后才能评论

评论列表(0条)

保存