WordCount程序:假设现在有n个文本,如何利用MR计算模型来统计这n个文本中每个单词出现的总

WordCount程序:假设现在有n个文本,如何利用MR计算模型来统计这n个文本中每个单词出现的总,第1张

MapReduce是一个编程模型和一个处理和生成大数据集的相关实现。用户指定一个map函数处理一个key-value对来生成一组中间key-value对;指定一个reduce函数合并所有和同一中间key值相联系的中间value值。许多现实世界中的任务以这个模型展现,就像文中展示的那样。

首先你需要指定你想要的单词是什么,可以通过命令行指定,然后保存在Configuration中。然后map任务和reduce任务只需要改一处就可以了,就是在获取到key(单词作为key)时从Configuration中获取指定的单词,如果相同则使用context.write输出,不相同直接不输出即可,这样输出的就是指定的单词的数据


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/yw/11723403.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-18
下一篇 2023-05-18

发表评论

登录后才能评论

评论列表(0条)

保存