如何用MapReduce程序 *** 作hbase

Job的运行过程中会有一系列的sort 的 *** 作，并且reduce input groups的counter变量的值远远要小于reduce input records counter。 Job在mapper完成以后，shuffle过程中传输了大量的中间结果文件

从HBASE读取清洗过的数据，写入到mysql的表中

NewInstallUserRunner.java

计算新增用户入口类

main方法：

只有一个方法ToolRunner.run

入口类implements Tool接口

Tool定义run方法

Tool 继承Configurable

Configurable定义两个方法

所以入口类需要实现3个方法

setConf方法实现

定义output-collector的类，反射用的

输出到mysql的时候，组成insert语句的

输出到mysql的链接信息

getConf方法实现

run方法的实现

processArgs方法解读

run方法第一条this.processArgs(conf, args)执行结束，

返回结果默认是昨天，或者运行时加入-d yyyy-DD-mm 格式输入的日期。

参数中用到的枚举方法

addDependencyJars 如果在服务器运行，需要设置为true 如果在本地运行 设置成false

http://www.jianshu.com/p/fd25d036d4dc

http://www.jianshu.com/p/1493de43dbf7

if (job.waitForCompletion(true)) {

// 执行成功, 需要计算总用户

this.calculateTotalUsers(conf)

return 0

} else {

return -1

}

---