intellij idea maven 开发spark环境搭建出现这个错误

在Spark快速入门指南 – Spark安装与基础使用中介绍了Spark的安装与配置，在那里还介绍了使用spark-submit提交应用，不过不能使用vim来开发Spark应用，放着IDE的方便不用。这里介绍使用Intellij Idea搭建Spark的开发环境。
1、Intellij Idea的安装
由于Spark安装在Ubuntu环境中，这里的Idea也安装在Ubuntu中。首先是下载，到官网下载即可。下载完后解压到待安装的目录：

sudo tar -zxvf ideaIU-20161targz -C /usr/local/
我解压在了/usr/local目录下，然后更改文件夹名：
mv ideaIU-20161 idea
然后修改文件的用户和用户组：
sudo chown -R hadoop:hadoop idea
这里的hadoop是我的用户名和组名。这样idea就安装成功了。

为了启动idea，进入idea/bin目录，执行里面的ideash：

bin/ideash
这样就可以启动idea。不过这样不方便，可以在桌面新建文件ideadesktop，输入如下内容：
[Desktop Entry]
Name=IdeaIU
Comment=Rayn-IDEA-IU
Exec=/usr/local/idea/bin/ideash
Icon=/usr/local/idea/bin/ideapng
Terminal=false
Type=Application
Categories=Developer;
这样就创建了一个桌面快捷方式。

2、maven的安装与配置
Maven 是一个项目管理和构建自动化工具。作为一个程序员，都有过为了使用某个功能而在项目中添加jar包的经历，使用的框架多了，需要添加的jar包也多，而maven能够自动为我们添加需要的jar包。首先在maven官网上下载maven：
下载之后在Downloads目录下有如下文件：

liu@Binja:~/Downloads$ ls
apache-maven-339-bintargz
解压到待安装的目录：
liu@Binja:~/Downloads$ sudo tar -zxvf apache-maven-339-bintargz -C /usr/local/
同样，修改文件夹名和用户名：
liu@Binja:/usr/local$ sudo mv apache-maven-339/ maven
liu@Binja:/usr/local$ sudo chown -R liu:liu maven
liu@Binja:/usr/local$ ll maven
total 52
drwxr-xr-x 6 liu liu 4096 3月 28 20:24 /
drwxr-xr-x 12 root root 4096 3月 28 20:26 /
drwxr-xr-x 2 liu liu 4096 3月 28 20:24 bin/
drwxr-xr-x 2 liu liu 4096 3月 28 20:24 boot/
drwxr-xr-x 3 liu liu 4096 11月 11 00:38 conf/
drwxr-xr-x 3 liu liu 4096 3月 28 20:24 lib/
-rw-r--r-- 1 liu liu 19335 11月 11 00:44 LICENSE
-rw-r--r-- 1 liu liu 182 11月 11 00:44 NOTICE
-rw-r--r-- 1 liu liu 2541 11月 11 00:38 READMEtxt
liu@Binja:/usr/local$
然后将maven添加到环境变量中：
sudo vim ~/bashrc
在最后添加下面的内容：

export PATH=$PATH:/usr/local/maven/bin
使更改生效：

liu@Binja:/usr/local$ source ~/bashrc
这样maven就安装好了。

3、用刚安装的maven配置idea
起始idea自带了maven，这里配置自己安装的maven。
一次选择File->Setting->Build,Execution,Deployment->Build Tools->Maven，如下图：
在右侧里的Maven home directory里设置Maven的安装目录，就我这里是/usr/local/maven，在User settings file里设置Mavne的配置文件，我这里使用默认的文件，在Local repository里设置本地包的管理仓库，选择右侧的Override后，可以自定义自己的仓库目录，以后Maven自动下载的包就会存放在这里。
单击OK后maven就配置完了。然后就可以创建一个maven项目。
4、创建maven项目
依次选择File->New->New Project，出现如下界面：
左侧可以选择项目的类型，这里选择Maven，右侧可以选择是否使用模板，勾选上面的Create from archetype后，就可以在下面选择项目模板，这里选择Scala的模板。
一路next之后，这里填一下groupID和artifactID，名字随便取：
然后一路next，填写上项目的名字，OK就可以了。
这样新项目就创建成功了，新项目的文件结构如下图：
其中的pomxml就是配置我们项目的依赖包的。src是项目存放代码的目录，下面有两个结构相同的目录main和test，其中我们在main目录下编写代码，test编写测试代码，这里先不使用测试，可以将test目录删除。右侧展示的就是pomxml文件的内容：
勾选右上角的Enable Auto-Import，这样Idea就会自动下载项目所需的依赖包。还要注意中间的Scala版本，选择自己使用的版本。

ideaiu和ideaic的区别是：名称不同、功能不同、版本不同。

1、名称不同

ideaiu指的是IntelliJ IDEA Ultimate。

ideaic指的是IntelliJ IDEA Community。

2、功能不同

IDEAIU全称IntelliJ IDEAIU，是java语言开发的集成环境，IntelliJ在业界被公认为最好的java开发工具之一，主要功能为：智能代码助手、代码自动提示、重构、J2EE支持。

ideaic的主要功能为：Ant、JUnit、CVS整合、代码审查、 GUI设计。

3、版本不同

ideaiu即IDEA最终版（商业版），付费使用。

ideaic即IDEA社区版，免费使用。

扩展资料：

IDEAIU所提倡的是智能编码，是减少程序员的工作，IDEA的特色功能有以下方面：

1、智能的选取

在很多时候我们要选取某个方法，或某个循环或想一步一步从一个变量到整个类慢慢扩充着选取，IDEA就提供这种基于语法的选择，在默认设置中Ctrl+W，可以实现选取范围的不断扩充，这种方式在重构的时候尤其显得方便。

2、丰富的导航模式

IDEA提供了丰富的导航查看模式，例如Ctrl+E显示最近打开过的文件，Ctrl+N显示你希望显示的类名查找框（该框同样有智能补充功能，当你输入字母后IDEA将显示所有候选类名）。在最基本的project视图中，你还可以选择多种的视图方式。

3、历史记录功能

不用通过版本管理服务器，单纯的IDEA就可以查看任何工程中文件的历史记录，在版本恢复时你可以很容易的将其恢复。

4、JUnit的完美支持

5、对重构的优越支持：IDEA是所有IDE中最早支持重构的，其优秀的重构能力一直是其主要卖点之一。

6、编码辅助

7、灵活的排版功能

基本所有的IDE都有重排版功能，但仅有IDEA的是人性的，因为它支持排版模式的定制，你可以根据不同的项目要求采用不同的排版方式。

参考资料来源：

百度百科-IntelliJ IDEA

---