问题:hive -f 执行sql文件,报错。
FAILED:ParseException line 1:5 cannot recognize in ‘set’ ‘hive’ ‘.’ instatement(state=42000,code=40000)
处理过程:
SQL文件最开始的参数设置报错
set hive.exec.max.dynamic.partitions=50000;
set hive.exec.max.dynamic.partitions.pernode=10000;
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
这些参数设置,在hive终端可以正常执行,所以考虑报错原因是编码问题。但是sql文件是utf-8,没有问题。
file test.sql
test.sql:UTF-8 Unicode(with BOM) text
于是在服务器创建一个新的文件test.sqlbak,直接将代码粘贴到服务器,可以正常运行,查看文件编码。
file test.sqlbak
test.sql:UTF-8 Unicode text
发现两个文件编码有差异,差异之处就是 BOM。
于是三个办法处理:
1、Linux 命令处理
#查找BOM头文件
grep -r -I -l $'^\xEF\xBB\xBF' ./
#替换BOM头文件
find ./ -type f -exec sed -i 's/\xEF\xBB\xBF//' {} \;
2、用scp上传文件时,配置以下设置:
上传后的文件,就可以正常执行了。
3、将文件编码修改为UTF-8(无BOM)
我用的是Notepad++。
配置后,新建文件,将代码复制过来,重新上传。
问题解决。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)