mapreduce 编程

mapreduce 编程

首先  map task 写一个 继承Mapper 的类；

中间可能写一个 分文件的一个partition 的类；（注意设置 reducetask 的数量）

中间还有可能写一个 combiner. 也是继承Reducer. 可用来优化

最后 reduce task 写一个 继承Reducer 的类；

1. 简单的Wordcount; 使用普通的 hadoop 序列化数据类型就可以，Text, LongWritable;

2.实现排序， 一般就是 一行多个字段， order by 其中一个或者多个；

那么就要将这一行 多个字段组成 Bean , 然后 继承 WriteCompartor. 

public class MySortBean implements WritableComparable 

实现方法 有个compareTo. 返回1 或者-1 代表降序。

    @Override
    public int compareTo(MySortBean o) {
        // 1. 先第一列排序
        //返回0 表示 相同
        int i = this.word.compareTo(o.word);
        //2. 第二列排序
        if(i==0) //
        {
            return this.num-o.num;
        }
        return i;
    }

3. 还是多个字段，没有排序，只是sum 计算。如果计算一个，就回到wordcount。 统计多列的话，那就又要 Bean 的概念。此时 又要序列化。

所以这个Bean class 要实现Writable.（implements Writable） 这个类。 然后 完成字段的 序列化和反序列化。