怎么在win7上安装spark2.0

1、下载spark解压到D盘，现在的版本是1.2.1

2、下载scala安装到d:\ProgramFiles(x86)\scala\

安装好scala后需要配置环境变量

修改path这个变量，把Scala的bin目录也放进去D:\ProgramFiles(x86)\scala\bin（现在版本的scala会自动修改系统的环境变量，提示的时候选择不阻止）测试是否配置成功，在命令行中输入scala-version！

1.准备工作

首先需要在你电脑上安装jdk和scala以及开发工具Intellij IDEA，本文中使用的是win7系统，环境配置如下：

jdk1.7.0_15

scala2.10.4

scala官网下载地址：http://www.scala-lang.org/download/

如果是windows请下载msi安装包。

这两个可以在官网上下载jdk和scala的安装包就可以直接双击安装包运行安装即可。注意：如果以后是在本地编写好spark代码然后上传到spark集群上去运行的话，请一定保持两者的开发环境一致，不然会出现很多错误。

Intellij IDEA

在官网上下载一般选择右下角的Community版本，下载地址https://www.jetbrains.com/idea/download/#section=windows

2.在Intellij IDEA中安装scala插件

安装好Intellij IDEA并进入idea的主界面

（1）找到右下角的Configure选项中Plugins并打开

（2）点击左下角Browse repositories…

（3）在搜索框里搜scala，出现相对于的Scala插件，这里面我的已经安装完成了，没安装的会显示install的字样以及相对于的版本，这里面不建议在线安装插件，建议根据Updated 2014/12/18去下载离线的scala插件，比如本文中的IDEA Updated日期是2014/12/18然后找到对应的插件版本是1.2.1，下载即可。下面是scala插件的离线下载地址。

scala插件离线下载地址：https://plugins.jetbrains.com/plugin/1347-scala

然后根据Update日期去找Intellij IDEA对应得scala插件，不同版本的IDEA对应的scala插件不一样，请务必下载对应的scala插件否则无法识别。

（4）离线插件下载完成后，将离线scala插件通过如下方式加入到IDEA中去：点击Install plugin from disk…,然后找到你scala插件的zip文件的本机磁盘位置，点ok即可

到这里，在Intellij IDEA中安装scala插件的步骤已经全部完成。接下来用IDEA来构建一个Maven工程，用来搭建spark开发环境。

3.Intellij IDEA通过Maven搭建spark环境

（1）打开IDEA新建一个maven项目，如下图：

注意：按照我步骤顺序即可。

注意：如果是第一次利用maven构建scala开发spark环境的话，这里面的会有一个选择scala SDK和Module SDK的步骤，这里路径选择你安装scala时候的路径和jdk的路径就可以了。

（2）填写GroupId和ArtifactId这里我就随便写了个名字，如下图，点Next。

（3）第三步很重要，首先是你的Intellij IDEA里有Maven，一般的新版本都会自带maven，而且maven的目录在IDEA安装路径下plugins下就能找到，然后再Maven home directory地址中填写maven相对应的路径，本文中的IDEA版本比较老，是自己下的Maven安装上的（不会的可以百度下，很简单，建议使用新的IDEA，不需要自己下载maven）。然后这里面的User settings file是你maven路径下conf里面的settings.xml文件，勾选上override即可，这里面的Local repository路径可以不用修改，默认就好，你也可以新建一个目录。点击Next。

注意：截图的时候忘了，把Local repository前面的override也勾选上，不然构建完会报错，至少我的是这样。

（4）填写自己的项目名，随意即可。点击finish。

（5）到这里整个流程已经结束，完成后会显示如下界面：

右上角的import需要点击一下即可。

（6）接下来在pom.xml文件中加入spark环境所需要的一些依赖包。以代码的方式给出，方便复制。

这里是我的pom文件代码，请各位自行按照自己的需要删减或添加依赖包。

//注意这里面的版本一定要对应好，我这里的spark版本是1.6.0对应的scala是2.10，因为我是通过spark-core_${scala.version}是找spark依赖包的，前些日子有个同事按照这个去搭建，由于版本的不一样最后spark依赖包加载总是失败。请大家自行检查自己的版本

其实，我想说，起初学习Hadoop的一些经验对现在学习和理解spark有了很大的帮助，尤其反反复复几次Hadoop的配置，现在linux基础指令和spark安装，比较顺手了，出错了也知道哪里遗漏了。

肯定第一步是配置spark环境：包括linux系统的安装，java，ssh，Hadoop，Scala，spark的安装与环境变量设置。虽说简单，但对于初学者说，尤其是没有使用过linux系统的，还是有些挑战。其中遗漏一些细节问题，都会出错。

第二步：java学习。会java的可以忽略，不会的建议还是学习下java，虽说可以跳过java直接学习Scala，但是Scala毕竟和java联系密切，教材中也经常拿Scala和Java做比较。掌握Java基础就行，最差就是能看懂吧。。

第三步：Hadoop学习。HDFS，MR计算框架，必须得知道吧。spark也是需要在HDFS上进行数据获取的，学习Hadoop才能知道其不足，明白spark的优势，为什么Hadoop必死。在hdfs的 *** 作指令也必须掌握。能会写MapReduce程序就再好不过了。（我还不会。。。）

第四步：Scala学习。函数式编程，重点明白这个吧。一些trait什么的使用，会java了这些都是小菜，本质一样，表达方式不同而已。所以。再次强调要学习JAVA。对我来说，不需要深入学习Scala编程，只需能看懂，而且会使用Scala *** 作RDD就行。后面的复杂高级编程我没学，以后用到再看。

第五步：就是spark学习。当然，最好学习spark的方式就是看官方文档，读源码，看博客（博客写的都太简单，没有特别深入的），看RDD的论文，作业如何调度，什么什么的。对于英语水平不高，阅读官方文档略困难的童鞋，推荐某研究院的spark官方文档中文翻译，还是很全的。不推荐买国内的书看，想看度娘参考下就行了，所以。英语也得提升啊。

---