Hadoop学习之MapReduce分布式计算框架

Hadoop学习之MapReduce分布式计算框架 目录

一、本地模式

1.新建一个本地maven项目

2.修改prom依赖（maven）

3.新建一个包mapreduce，在该包中新建三个包

4.写mapper组件

5.写Reducer组件

6.写Driver组件

7.运行结果

二、集群模式词频统计

1.准备用于单词计数的文件夹和文件

2.上传至hadoop集群

3.打包成jar包

4.jar包上传至centerOS下

5.提交至hadoop集群运行

6.查看结果

三、倒排索引

1.Mapper组件

2.Reducer组件

3.Combiner组件

4.Driver组件

5.运行

6.结果

四、数据去重

1.prom依赖

2.Mapper组件

3.Reducer组件

4.Driver组件

5.准备此次去重文件

6.运行

五、TopN

1.Mapper组件

2.Reducer组件

3.Driver组件

4.运行

5.结果

---

一、本地模式 1.新建一个本地maven项目

2.修改prom依赖（maven）

3.新建一个包mapreduce，在该包中新建三个包

4.写mapper组件

5.写Reducer组件

 

6.写Driver组件

7.运行结果

 

  

二、集群模式词频统计 1.准备用于单词计数的文件夹和文件

 

2.上传至hadoop集群

项目本地进行调试

显示没有问题

3.打包成jar包

 

4.jar包上传至centerOS下

 

5.提交至hadoop集群运行

6.查看结果

 

 

三、倒排索引 1.Mapper组件

 

2.Reducer组件

 

3.Combiner组件

 

4.Driver组件

 

5.运行

 

6.结果

 

四、数据去重 1.prom依赖

 

2.Mapper组件

 

3.Reducer组件

 

4.Driver组件

 

5.准备此次去重文件

 

6.运行

 

 

五、TopN 1.Mapper组件

 

2.Reducer组件

 

3.Driver组件

 

4.运行

 

5.结果