Hive - 警惕默认分割符号:^A

Hive - 警惕默认分割符号:^A,第1张

Hive - 警惕默认分割符号:^A 一.引言

hive 执行如下 insert 插入语句后将数据从 RCFile 格式转换为 Text 并导入 Hdfs:

function insertData() {
hive -e "
insert overwrite directory '$output'
select col_1,'t',col_2 from $table where dt='$day' and num > 10000
"
}

但是解析忽略了 ^A 默认符,导致后续任务判断失效。

二.原因分析

table 的 hive 分隔符为默认分割符 ^A

vim 下可显示

文本格式显示:

但是 print 时无法显示,col_1 "t" col_2 进行 split 划分时需要注意分隔符:

取第一位正确 *** 作:

x.split("01")(0)

错误 *** 作:

因为这个不可视的问题折腾了好几次代码,蓝瘦了,以后要注意警惕 hive 的默认分割符!

 

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5705792.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存