8. Spark环境搭建(standalone模式)

8. Spark环境搭建(standalone模式) 一. 解压Spark安装包

tar -zxvf /h3ch/spark-2.0.0-bin-hadoop2.6.tgz -C /usr/local/src/

二. 重命名conf目录里的 slaves.template 为 slaves ，spark-env.sh.template 为 spark-env.sh

mv slaves.template slaves
mv spark-env.sh.template spark-env.sh

三. 往 slaves文件添加集群中服务器的主机名

vim slaves

四. 修改 spark-env.sh文件

vim spark-env.sh

五. 修改sbin目录下的spark-config.sh,添加jdk的环境变量

vim /usr/local/src/spark-2.0.0-bin-hadoop2.6/sbin/spark-config.sh

六. 分发Spark包到集群中的每一个节点 七. 启动

sbin/start-all.sh