MapReduce知识点

MapReduce知识点 MapReduce

MapReduce核心思想：分而治之

分而治之就是：把一个复杂的问题按一定的“分解”方法分为规模较小的若干部分，然后逐个解决，分别找出各部分的解，再把各个部分的解组成整个问题的解

MapReduce过程：

map阶段：

• 安照块进行分片
• 每个分片会对应一个map，运行map进行数据的进一步分割运行了map代码（将数据转换为键值对形式）

Shuffing阶段：

• 分区
• 排序
• 规约
• 合并

reduce阶段：

• reduce运行reduce代码
• 数据展示