mac环境下安装spark-2.3.2

mac环境下安装spark-2.3.2

本文仅记录在MacBook Pro M1型号上安装 JDK8、Hadoop-2.6.5、spark-2.3.2。

1、首先安装JDK8，在官网上下载mac os版本的jdk8，并双击安装。在一般情况下这样就可以使用了，在命令行中输入java -version得到如图所示。

但是，为了后面成功安装Hadoop，需要在~/.bash_profile文件中配置java_home的环境变量。

先查看java_home文件目录位置，在命令行中输入/usr/libexec/java_home -V，结果显示如下图

所以把java_home的环境变量配置上，如图

2、安装Hadoop，首先下载Hadoop。解压到自己制定的目录中。然后就是配置环境变量，如图所示配置HADOOP_HOME并将其添加到PATH中。

这里注意，如果在第一步没有配置JAVA_HOME，将会出现如下图报错。

3、安装spark，首先下载Spark。解压到自己制定的目录中。然后就是配置环境变量，如图所示配置SPARK_HOME并将其添加到PATH中。

最后在命令行中输入spark-shell得到如下图结果表明安装成功

以上就是spark的安装过程，过程比较简单，不同的版本可能会遇到不同的问题，因为Hadoop和spark之间的具有对应关系。

顺便提一下，mac的环境变量的配置问题，想看原文的请移步：
Mac系统的环境变量，加载顺序为：
/etc/profile /etc/paths ~/.bash_profile ~/.bash_login ~/.profile ~/.bashrc

/etc/profile和/etc/paths是系统级别的，系统启动就会加载，后面几个是当前用户级的环境变量。后面3个按照从前往后的顺序读取，如果/.bash_profile文件存在，则后面的几个文件就会被忽略不读了，如果/.bash_profile文件不存在，才会以此类推读取后面的文件。~/.bashrc没有上述规则，它是bash shell打开的时候载入的。

PATH的语法为如下

#中间用冒号隔开
export PATH=$PATH::::------:

一般情况下，我们修改的都是当前用户环境变量。因此，首先会选择配置~/.bash_profile文件。然后source ~/.bash_profile。