Edit Spark 3.0支持Java 11,因此您需要升级
Spark可在Java 8/11,Scala 2.12,Python 2.7 + / 3.4 +和R 3.1+上运行。从Spark
3.0.0开始不推荐使用Java 8之前的版本8u92
原始答案
在Spark支持Java
11或更高版本之前(希望它会在最新文档中提及),您必须添加一个标志以将Java版本设置为Java
8。
从Spark 2.4.x开始
Spark可在 Java 8 ,Python 2.7 + / 3.4 +和R 3.1+上运行。对于Scala API,Spark
2.4.4使用Scala 2.12。您将需要使用兼容的Scala版本(2.12.x)
在Mac / Unix上,请参阅asdf-java以安装不同的Java
在Mac上,我能够做到这一点在我
.bashrc,
export JAVA_HOME=$(/usr/libexec/java_home -v 1.8)
在Windows上,以Chocolately方式签出,但请认真使用WSL2或Docker运行Spark。
您也可以设置它,
spark-env.sh而不是为整个配置文件设置变量。
而且,当然,这一切都意味着 除了 现有的Java 11 外,还 需要安装Java 8 。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)