Spark的安装与配置

文章目录

• 前言
• 一、安装spark
• • 1.将安装包上传到、usr/software下
  • 2.将spark解压到/usr/local下
  • 3.重命名
• 二、配置spark
• • 1.配置env
  • 2.配置workers
• 三.环境变量
• 四.拷贝
• 五.启动集群

---

前言

`简单介绍spark3.x版本的安装与配置
我的三台机器分别为q01,slave02,slave03

---

`

一、安装spark 1.将安装包上传到、usr/software下

2.将spark解压到/usr/local下

[root@q01 software]# tar -zvxf spark-3.1.2-bin-hadoop3.2.tgz -C /usr/local

3.重命名

[root@q01 local]# mv  spark-3.1.2-bin-hadoop3.2/ spark-3.1.2

二、配置spark 1.配置env

进入spark-3.1.2/conf下
将spark-env.sh.template 改名

[root@q01 conf]# mv spark-env.sh.template spark-env.sh

vim 进入spark-env.sh,加入jdk安装路径

export JAVA_HOME=/usr/local/jdk1.8.0_202

保存退出

2.配置workers

改名

[root@q01 conf]# mv workers.template workers

vim 进入
在末尾插入从节点的名字
根据你集群的实际情况配置

三.环境变量

配置环境变量

vim  /etc/profile

在最后面加入

export SPARK_HOME=/usr/local/spark-3.1.2
export PATH=$PATH:$SPARK_HOME/bin

保存退出
source一下

source /etc/profile

四.拷贝

进入/usr/local
将配置好的spark拷贝到另外两台机器
注意节点名称和你所处的位置

[root@q01 local]# scp -r spark-3.1.2/ slave02:$PWD

[root@q01 local]# scp -r spark-3.1.2/ slave03:$PWD

五.启动集群

先启动hadoop集群：进入hadoop目录下

./sbin/start-all.sh

然后启动spark：进入spark目录下

./sbin/start-all.sh

最后jps一下，三台机器上的状况依次如下：主机，slave02，slave03



如果有不足之处，请留下您宝贵的意见