搭建spark（图文超详细版）

搭建spark（图文超详细版） 搭建spark

文章目录

• 搭建spark
• • • 1.安装JDK
    • 2.安装Hadoop
    • 3.安装Scala
    • 4.安装spark

1.安装JDK

jdk详细安装步骤: https://www.cnblogs.com/zll-wyf/p/15095664.html

2.安装Hadoop

Hadoop历史版本: http://archive.apache.org/dist/hadoop/core/
Hadoop2.7.5下载地址: http://archive.apache.org/dist/hadoop/core/hadoop-2.7.5/

下载解压好之后

单击"计算机-属性-高级系统设置"，单击"环境变量"。

新建一个系统变量HADOOP_HOME

然后在系统变量中找到Path

单击编辑-新建

输入：

3.安装Scala

Scala下载地址: https://www.scala-lang.org/download/scala2.html

这里可以选择版本，一个是3.1一个是2.13，这里我选择的是2.13

点2.13之后翻到下面，Windows对应的版本是scala2.13.7.msi，点击下载

下载后，双击 msi 文件

之后指定Scala的安装目录

安装好scala后，系统会自动提示，单击 finish，完成安装。
win+r打开命令行，输入Scala -version 会出现版本信息

4.安装spark

spark下载地址: https://spark.apache.org/downloads.html

点击Spark release archives可以查看历史版本

我这里选择的3.0.2，然后点击3.0.2

之后选择Hadoop对应的版本

下载解压好之后

单击"计算机-属性-高级系统设置"，单击"环境变量"。

选择系统变量

找到系统变量的环境变量

点击编辑—>新建一个变量

把之前自己指定的spark安装目录填进去

打开cmd

输入 spark-shell

出现welcome to spark就成功啦！！