Hadoop环境Spark搭建

Hadoop环境Spark搭建

先将spark-2.1.1-bin-hadoop2.7.tgz下载到    /opt/software

然后解压到/opt/module

tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module

 重命名文件夹方便以后使用

mv spark-2.1.1-bin-hadoop2.7.tgz spark

修改配置文件，先进入spark/conf文件夹

重命名配置文件

mv spark-env.sh.template spark-env.sh

修改/spark/sbin/start-master.sh文件

vi start.master.sh

if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then
  SPARK_MASTER_WEBUI_PORT=8080
fi
改为
if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then
  SPARK_MASTER_WEBUI_PORT=18080

修改spark-env.sh文件

vi spark.env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_212
export SPARK_MASTER_HOST=hadoop001
export SPARK_MASTER_PORT=7077

配置slaves文件还是在spark /conf 文件夹

复制一份slaves.template文件后重命名

cp slaves.template slaves

修改slaves配置文件

vi slaves

hadoop002
hadoop003

修改全局变量

vi /etc/profile

#在最后一行添加

export SPARK_HOME=/opt/module/spark
export PATH=$PATH:$SPARK_HOME/bin
export PATH=$PATH:$SPARK_HOME/sbin

生效全局变量

source /etc/profile

查看是否可以启动

spark-shell

配置集群

将配置好的spark拷贝到他的副节点

scp -r /opt/module/spark/ @hadoop002: /opt/module/
scp -r /opt/module/spark/ @hadoop003: /opt/module/

spark集群要在他的sbin目录下启动

 ./start-all.sh

jps查看是否启动成功

 

网页查看集群

自己的ip地址:18080