spark3教程（三）Windows10下使用IDEA搭建Scala开发Spark的环境

spark3教程（三）Windows10下使用IDEA搭建Scala开发Spark的环境

        在IDEA中开发Spark，可以使用两种方式环境方式，一是使用本地Scala库，建立Scala项目，导入Spark jar包。一种是通过Maven引入Scala、Spark依赖。我们本次使用Maven的方式，符合Java开发者的习惯于行业规范。
一、首先在IDEA中搜索Scala插件并安装。

二、新建一个Maven的空项目（即不选择archetype）

三、在新项目下新建一个Module，选择archetype为scala-archetype-simple，如下图所示：

四、修改pom.xml
1、修改Scala的版本为2.12.15

2.12.15

需注意的是，Spark3.1.2不支持Scala2.13

2、修改JVM版本为1.8

-target:jvm-1.8

3、引入Spark依赖：

 
    
        org.apache.spark
        spark-core_2.12
        3.1.2
    

4、删除报错的：

src/test/scala

五、删除报错的，如下图的文件和文件夹：

至此，Windows10下使用IDEA搭建Scala开发Spark的环境搭建完毕，下一篇文章，我们将开发一个词频统计来进行测试。