是否可以限制MapReduce作业访问远程数据?

是否可以限制MapReduce作业访问远程数据?,第1张

是否可以限制MapReduce作业访问远程数据?

如果将减少任务的数量设置为零,则可以跳过改组,因此可以省去算法的网络成本。

在创建工作时,可以使用以下代码行完成此 *** 作

job.setNumReduceTasks(0);

我不知道您的算法会做什么,但会说这是一种模式匹配算法,用于寻找特定单词的出现,然后映射器将报告每个拆分的匹配数。如果要添加计数,则需要网络通信和减速器。

我在一个仅地图示例中找到的第一个Google匹配项:
仅地图MR工作



欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5033297.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-11-15
下一篇 2022-11-15

发表评论

登录后才能评论

评论列表(0条)

保存