Spark学习:Win10中编译Spark源码

编译Spark源码

• • 一、环境准备
  • 二、编译
  • 三、IDE导入执行SparkPi.scala

一、环境准备

1、JDK1.8
2、scala 2.12.15
3、maven 3.8.5
3、Spark3.2.1
spark官网下载最新的sourcecode

二、编译

1、打开源码父pom.xml修改scala/maven/java对应版本



2、配置maven镜像源
阿里云
3、在cmd/powershell移动到源码目录中父pom.xml所在目录

mvn -DskipTests clean package
//使用mvn跳过单元测试编译

三、IDE导入执行SparkPi.scala

1、在windows环境下调试Spark程序,需要使用winutils.exe,这边是参照下面这篇文章
Windows调试、开发Spark程序
2、报错NoClassDefFoundError:scala/collection/Seq
原因是刚才生成的spark相关依赖包没有找到,把assembly\target\scala-2.11\jar下生成spark所需的jar包添加到examples Module中

3、报错Could not find spark-version-info.properties
新建spark-version-info.properties到examples的resources目录,文件中添加版本信息,如下所示

另外,需要指定部署模式和主类

完美！