本地利用sbt打包上传到服务器集群上运行,报错:Caused by: java.io.IOException: unexpected exception type。
本地环境Scala本版2.12.15,spark版本2.3.2。
本文的报错代码是:
val data = df.where("key=val1").first()解决方案:
在网上找了很多解决办法,替换函数等各种尝试,结果都没能解决问题。最后发现是因为Scala版本不一致导致的问题。
检查服务器上的Scala版本是2.11.8的,将本地的Scala卸载换成和服务器上的版本一样,重新sbt打包。上传服务器运行并成功解决问题。
总结:很多情况都会遇到版本不一致而出现不可预期的问题,比如python也有非常严重的版本适配问题。所以,为了避免出现一些奇奇怪怪的问题,在开发过程中一定要保持各环境版本的一致性。这样能免了很多烦恼。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)