Spark Standalone单机模式环境搭建

Spark Standalone单机模式环境搭建,第1张

Spark Standalone单机模式环境搭建 实验目录

目录

实验目录

实验环境

准备工作

安装步骤

实验环境
  1. Windows10+Centos7+jdk1.8.0_171+spark-2.4.8
准备工作
  1. jdk-8u171-linux-x64.tar.gz和spark-2.4.8-bin-hadoop2.7.tgz
安装步骤
  1. 将spark-2.4.8-bin-hadoop2.7.tgz上传至/tools/目录下
  2. 进入/tools/目录下将其解压至/training/目录下,执行
    tar -zxvf spark-2.4.8-bin-hadoop2.7.tgz -C /training/
  3. 无需配置环境变量,因为spark和hadoop的脚本命令有冲突
  4. 进入/training/spark-2.4.8-bin-hadoop2.7目录下,创建history与logs文件
    mkdir history
    mkdir logs
  5. 进入/training/spark-2.4.8-bin-hadoop2.7/conf目录下,修改配置文件:spark-env.sh(由于事先不存在,需要先复制)
    // 复制命令
    cp spark-env.sh.template spark-env.sh
    // 添加内容
    export JAVA_HOME=/training/jdk1.8.0_171
    export SPARK_MASTER_HOST=hadoop001
    export SPARK_MASTER_PORT=7077
    #history 配置历史服务
    export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=/training/spark-2.4.8-bin-hadoop2.7/history"
    
  6. 进入/training/spark-2.4.8-bin-hadoop2.7/conf目录下,修改配置文件:spark-defaults.conf(由于事先不存在,需要先复制)
    // 复制命令
    cp spark-defaults.conf.template spark-defaults.conf
    // 添加内容
    spark.eventLog.enabled           true
    spark.eventLog.dir               /training/spark-2.4.8-bin-hadoop2.7/logs
  7. 进入/training/hadoop-2.7.3目录下,启动hadoop,执行:
    sbin/start-all.sh
  8. 进入/training/spark-2.4.8-bin-hadoop2.7目录下,启动spark,执行:
    sbin/start-all.sh
  9. 进入/training/spark-2.4.8-bin-hadoop2.7目录下,启动spark历史服务器,执行:
    sbin/start-history-server.sh
  10. web界面进行验证,使用浏览器访问以下两个地址:
    # 访问Spark UI:
    http://hadoop001:8080
    # 访问Spark 历史服务器:
    http://hadoop001:18088
  11. 正常会出现:

Spark UI:

 Spark 历史服务器:

此后使用jps命令,查看是否有以下进程:

NameNode
Master
HistoryServer
ResourceManager
DataNode
Worker
NodeManager
SecondaryNameNode

ok,小主人,恭喜你。到这里你应该配置完成啦!

注意:本文参考其他博客,如有错误,请指正。非常感谢!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5694440.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存