用Intellij idea 编写Scala程序Spark2.0.0 依赖jar包如何解决

在“File|Project Structure|Libraries”窗体中点击绿色+号，选择“Java”，在d出的窗体中选择“Spark”的安装目录，定位到Spark\jars目录，点击“OK”，把全部jar文件引入到项目中。网上和目前出版的书中讲解是spark2.0以下版本搏盯，采用的是把sparkle核心文件（如：“spark-assembly-1.3.0-hadoop2.4.0.jar”）拷贝镇碧到Interllij IDEA安装目录下的Lib目录下，再使御银举用Spark。由于Spark2.1.0已经取消了该文件，因此无法用原先的方法。

，客户端和虚拟集群中hadoop、spark、scala的模衡毕安装目录是一致的，这样开发的spark应用程序的时候不需要打包spark开发包和scala的库文件，减少不必要的网络IO和磁盘IO。当然也可以不一样，不过在使用部署工具spark-submit的时候需要参数指明classpath。

1：IDEA的安拦码装

官旦芹网jetbrains.com下载IntelliJ IDEA，有Community Editions 和&Ultimate Editions，前者免费，用户可以选择合适的版本使用。

根据安装指导安装IDEA后，需要安装scala插件，有两种途径可以安装scala插件：

启动IDEA ->Welcome to IntelliJ IDEA ->Configure ->Plugins ->Install JetBrains plugin... ->找到scala后安装。

启动IDEA ->Welcome to IntelliJ IDEA ->Open Project ->File ->Settings ->plugins ->Install JetBrains plugin... ->找到scala后安装。

---