04 使用Sqoop将mysql数据导入hbase

04 使用Sqoop将mysql数据导入hbase,第1张

本节演示使用Sqoop将mysql数据导入hbase。

(1)mysql数据导入hbase

如此,就完成了把mysql导入了hbase。

从HBASE读取清洗过的数据,写入到mysql的表中

NewInstallUserRunner.java

计算新增用户入口

main方法

只有一个方法ToolRunner.run

入口类implements Tool接口

Tool定义run方法

Tool 继承Configurable

Configurable定义两个方法

所以入口类需要实现3个方法

setConf方法实现

定义output-collector的类,反射用的

输出到mysql的时候,组成insert语句的

输出到mysql的链接信息

getConf方法实现

run方法的实现

processArgs方法解读

run方法第一条this.processArgs(conf, args)执行结束,

返回结果默认是昨天,或者运行时加入-d yyyy-DD-mm 格式输入的日期。

参数中用到的枚举方法

addDependencyJars 如果在服务器运行,需要设置为true 如果在本地运行 设置成false

http://www.jianshu.com/p/fd25d036d4dc

http://www.jianshu.com/p/1493de43dbf7

if (job.waitForCompletion(true)) {

// 执行成功, 需要计算总用户

this.calculateTotalUsers(conf)

return 0

} else {

return -1

}


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/8640809.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-19
下一篇 2023-04-19

发表评论

登录后才能评论

评论列表(0条)

保存