Scala避坑:Caused by: java.io.IOException: unexpected exception type

Scala避坑:Caused by: java.io.IOException: unexpected exception type,第1张

Scala避坑:Caused by: java.io.IOException: unexpected exception type 问题描述:

本地利用sbt打包上传到服务器集群上运行,报错:Caused by: java.io.IOException: unexpected exception type。
本地环境Scala本版2.12.15,spark版本2.3.2。
本文的报错代码是:

val data = df.where("key=val1").first()
解决方案:

在网上找了很多解决办法,替换函数等各种尝试,结果都没能解决问题。最后发现是因为Scala版本不一致导致的问题。
检查服务器上的Scala版本是2.11.8的,将本地的Scala卸载换成和服务器上的版本一样,重新sbt打包。上传服务器运行并成功解决问题。

总结:很多情况都会遇到版本不一致而出现不可预期的问题,比如python也有非常严重的版本适配问题。所以,为了避免出现一些奇奇怪怪的问题,在开发过程中一定要保持各环境版本的一致性。这样能免了很多烦恼。

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5710933.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-18

发表评论

登录后才能评论

评论列表(0条)

保存