在Hadoop集群中,任务分配到每个节点上的传统方法是什么,怎么实现随机分配,均衡分配........

在Hadoop集群中,任务分配到每个节点上的传统方法是什么,怎么实现随机分配,均衡分配........,第1张

默灶兆认方法是随机加均衡,几条策略,

一般都会把任务分配给离存储节点之一最近的节点

如果某个节点运算效率过慢就会把这个运算给另一个空闲隐备租节点同时做,谁先做完用谁的

如果某滚纤段计算实在做不过去,说明程序有问题,会跳过出问题的步骤,做下一步

1、首先要对任务进行抽象,确保任务桐改肢彼此解耦即各任务之间没有强业务相关

2、保证任务分配均衡。若是分布式拆分要尽量做到分配均匀,否则无益

3、做好任务的重试。当任务失败时统局世筹线程应具备捞起重新分配的能力

4、做好聚合工作。当最后歼野一份任务执行完毕应触发任务执行结果的聚合和输出。

题主是否想问“为了均衡多个线程的处理时间的方法是什么”采用的方法是分配任晌坦皮务、动态调整线程数。

1、分配任务:将任务分配给各个线程时,尽量保证任务量相同或者差不多,并且任务类型也应该是相同的。这样可以避免某宴差些线程处理时间过长,导致其他线程等待时间过长。

2、动态调整线程数信渣:在程序运行过程中,可以根据当前的负载情况来动态调整线程数。如果当前负载很高,可以增加线程数,以缩短处理时间。如果当前负载较低,可以减少线程数,以节省资源和能源。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/yw/12445645.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-25
下一篇 2023-05-25

发表评论

登录后才能评论

评论列表(0条)

保存