spark-submit 提交报错

spark-submit 提交报错

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;

解决方法

代码中的spark版本依赖必须和集群spark版本一致 否则报如上错误。

我的服务器有两套不一样的spark集群版本因此命令有两个如下：

spark-submit
--class com.picc.cn.Spark2Hdfs
--master yarn
--deploy-mode client
--driver-memory 4g
--num-executors 10
--executor-memory 4g
--executor-cores 2
Spark2Hdfs.jar

spark2-submit
--class com.picc.streaming.SparkStreamingToHdfs
--master yarn
--deploy-mode client
--driver-memory 4g
--num-executors 10
--executor-memory 4g
--executor-cores 2
SparkStreamingToHdfs.jar