Ubuntu安装Spark

下载解压安装Spark

1.自行下载Spark版本

Spark官网：Downloads | Apache Spark

2.Spark压缩包地址：百度网盘 请输入提取码 提取码：dsjd

解压spark安装包

cd ~
sudo tar -zxf spark-2.1.0-bin-without-hadoop.tgz -C /usr/local #解压spark到/usr/local

cd /usr/local
mv spark-2.1.0-bin-without-hadoop/ spark    #将解压文件改名为spark
sudo chown -R hadoop spark/                 #赋予hadoop用户spark文件夹权限

 修改 ~/.bashrc 环境变量

vim ~/.bashrc

#添加如下两行
export SPARK_HOME=/usr/local/spark
export PATH=$SPARK_HOME/bin

配置slaves文件（该文件可以确定我们的worker在哪个节点运行）

cd /usr/local/spark
cp ./conf/slaves.template ./conf/slaves   #把模板文件设置为可用文件

vim ./conf/slaves
#添加节点
slave1

配置spark-env.sh文件

cp ./conf/spark-env.sh.template ./conf/spark-env.sh
vim ./conf/spark-env.sh

 

#添加以下变量
export HADOOP_HOME=/home/hadoop/hadoop-2.7.1
export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_121
export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.7.1/etc/hadoop
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_IP=192.168.44.131

注意 SPARK_MASTER_IP=192.168.44.131是你Master节点IP

 打包配置好的Spark文件分发到slave1节点

cd /usr/local
tar -zcf ~/spark.master.tar.gz ./spark   #打包文件
cd ~
scp ./spark.master.tar.gz slave1:/home/hadoop #传输到slave1节点

切换至slave1节点，解压刚才传输过来的文件

sudo tar -zxf ~/spark.master.tar.gz -C /usr/local
sudo chown -R hadoop /usr/local/spark

 

切换root用户修改 /etc/profile 环境变量

su -
vi /etc/profile

 

#添加以下环境变量
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
su - hadoop

启动集群

先启动Hadoop集群

cd ~/hadoop-2.7.1/sbin
start-all.sh

 再启动Spark

cd /usr/local/spark/sbin
start-master.sh
start-slaves.sh