使用MapReduceHadoop对大数据进行排序

使用MapReduceHadoop对大数据进行排序,第1张

使用MapReduce / Hadoop对大数据进行排序

查看合并排序。

事实证明,就 *** 作和内存消耗而言,对部分排序的列表进行排序比对整个列表进行排序要有效得多。

如果化简器得到4个排序的列表,则只需查找4个列表中的最小元素,然后选择该列表。如果列表的数量是恒定的,则此减少为O(N) *** 作。

通常,减速器也可以“分布”在树上,因此工作也可以并行化。



欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5489681.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-12
下一篇 2022-12-12

发表评论

登录后才能评论

评论列表(0条)

保存