sqoop

sqoop,第1张

sqoop

hive数据导出到mysql: export --connect “jdbc:mysql://localhost:3306/test” --username root --password 123456 --table emp --export-dir /user/hive/warehouse/student.db/emp/ --input-null-string “N” --input-null-non-string “N” --fields-terminated-by “01”
mysql数据导入hive: import --connect “jdbc:mysql://localhost:3306/test” --username root --password 123456 --table hcat --target-dir /user/hdfs/hcat/ --delete-target-dir --fields-terminated-by “t” --hive-import --hive-overwrite --hive-database common -m10

数据导入hive参数:
-hive-home

重写$HIVE_HOME
-hive-import 插入数据到hive当中,使用hive的默认分隔符
-hive-overwrite 重写插入
-create-hive-table 建表,如果表已经存在,该 *** 作会报错!
-hive-table 设置到hive当中的表名
-hive-drop-import-delims 导入到hive时删除 n, r, and 001
-hive-delims-replacement 导入到hive时用自定义的字符替换掉 n, r, and 001
-hive-partition-key hive分区的key
-hive-partition-value hive分区的值
-map-column-hive 类型匹配,sql类型对应到hive类型

hive空值处理
sqoop会自动把NULL转换为null处理,但是hive中默认是把N来表示null,因为预先处理不会生效的,我们需要使用 -null-string 和 -null-non-string来处理空值 把N转为N
例句:sqoop import … -null-string ‘N’ 或-null-non-string ‘N’

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5653047.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-16
下一篇 2022-12-16

发表评论

登录后才能评论

评论列表(0条)

保存