Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.0.0-cdh6.2.1
业务场景:spark 抽取ck数据进Hive
结论:CDH 自带的hive 版本和hadoop支持的hive 版本对应不上 导致报错
办法:
1:去掉pom文件中的hive 依赖(去掉依赖的话 本地执行会报错 但是线上不会报错)
2:有看到有人说把这个依赖换成:(这个我没有测试过 不太确定的是否正确 核心应该是把版本号 改成 2.1.1-cdh6.2.1 类似于这种)
org.apache.hive hive-serde2.1.1-cdh6.2.1 org.apache.hive hive-exec2.1.1-cdh6.2.1 org.apache.avro avroorg.apache.hive.hcatalog hive-hcatalog-core2.1.1-cdh6.2.1 org.apache.avro avro
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)