Spark Standalone单机模式环境搭建

Spark Standalone单机模式环境搭建 实验目录

目录

实验目录

实验环境

准备工作

安装步骤

实验环境

1. Windows10+Centos7+jdk1.8.0_171+spark-2.4.8

准备工作

1. jdk-8u171-linux-x64.tar.gz和spark-2.4.8-bin-hadoop2.7.tgz

安装步骤

1. 将spark-2.4.8-bin-hadoop2.7.tgz上传至/tools/目录下
2. 进入/tools/目录下将其解压至/training/目录下，执行：

   tar -zxvf spark-2.4.8-bin-hadoop2.7.tgz -C /training/

3. 无需配置环境变量，因为spark和hadoop的脚本命令有冲突
4. 进入/training/spark-2.4.8-bin-hadoop2.7目录下，创建history与logs文件

   mkdir history
   mkdir logs

5. 进入/training/spark-2.4.8-bin-hadoop2.7/conf目录下，修改配置文件：spark-env.sh(由于事先不存在，需要先复制)

   // 复制命令
   cp spark-env.sh.template spark-env.sh
   // 添加内容
   export JAVA_HOME=/training/jdk1.8.0_171
   export SPARK_MASTER_HOST=hadoop001
   export SPARK_MASTER_PORT=7077
   #history 配置历史服务
   export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=/training/spark-2.4.8-bin-hadoop2.7/history"
   

6. 进入/training/spark-2.4.8-bin-hadoop2.7/conf目录下，修改配置文件：spark-defaults.conf(由于事先不存在，需要先复制)

   // 复制命令
   cp spark-defaults.conf.template spark-defaults.conf
   // 添加内容
   spark.eventLog.enabled           true
   spark.eventLog.dir               /training/spark-2.4.8-bin-hadoop2.7/logs

7. 进入/training/hadoop-2.7.3目录下，启动hadoop，执行：

   sbin/start-all.sh

8. 进入/training/spark-2.4.8-bin-hadoop2.7目录下，启动spark，执行：

   sbin/start-all.sh

9. 进入/training/spark-2.4.8-bin-hadoop2.7目录下，启动spark历史服务器，执行：

   sbin/start-history-server.sh

10. web界面进行验证，使用浏览器访问以下两个地址：

    # 访问Spark UI：
    http://hadoop001:8080
    # 访问Spark 历史服务器:
    http://hadoop001:18088

11. 正常会出现：

Spark UI:

 Spark 历史服务器：

此后使用jps命令，查看是否有以下进程：

NameNode
Master
HistoryServer
ResourceManager
DataNode
Worker
NodeManager
SecondaryNameNode

ok,小主人，恭喜你。到这里你应该配置完成啦！

注意：本文参考其他博客，如有错误，请指正。非常感谢！