如何将hive查询结果导出成txt文件

如何将hive查询结果导出成txt文件,第1张

最近在使用hive时,需要将hive查询的数据导出到本地文件系统,HQL语法如下:
INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1
查询结果导出到本地文件后,试图使用excel加载时遇上了麻烦:不知道hive导出文件时使用的分隔符
使用文本编辑器打开也显示乱码。
最后在官方文档上找了半天才发现,hive使用 ^A 符号作为域的分隔符,原文如下:
Data written to the filesystem is serialized as text with columns separated by ^A
在python中可以使用linesplit('\x01')来进行切分,也可以使用linesplit('\001'),注意其中是单引号
在java中可以使用split("\\u0001")来进行切分
如果确实需要将查询结果导出到本地文件,最好使用hive的命令:
[sql] view plaincopy在CODE上查看代码片派生到我的代码片
bin/hive -e "select from test" >> rescsv

或者是:

bin/hive -f sqlq >> rescsv

其中文件sqlq写入你想要执行的查询语句
这问题在使用hive hql streaming时也会遇到,当你使用hql strreaming 将输出直接写入到hdfs目录,然后你在该目录上创建hive 外部表时,hive的输出结果会将streaming 的key和value之间的分隔符修改为 \001,所以,在hql streaming和输出为hive 外部表时,最好将streaming的最后输出的分隔符修改为\001,并且hive外部表的分隔符应该设置为\001,注意:不要使用^A和\x01,如:
[html] view plaincopy在CODE上查看代码片派生到我的代码片
create external table site_user_mapping_info_month(uid String,tag string,project_ids string,site_interests string) PARTITIONED BY(year String, month String) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' LOCATION '/project/site_grouping/site_user_mapping_info_month';


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zz/12887968.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-28
下一篇 2023-05-28

发表评论

登录后才能评论

评论列表(0条)

保存