spark怎么把主节点的文件复制到其它节点去

spark怎么把主节点的文件复制到其它节点去,第1张

部署这种模式,冲如需要修改conf目录下的spark-env.sh文件。在其中新增如下散销启斗明配置选项:

export HADOOP_HOME= /home/hadoop/hadoop-2.0.0-cdh4.5.0

export HADOOP_CONF_DIR= $HADOOP_HOME/etc/hadoop

SPARK_EXECUTOR_INSTANCES=2

SPARK_EXECUTOR_CORES=1

SPARK_EXECUTOR_MEMORY=400M

SPARK_DRIVER_MEMORY=400M

SPARK_YARN_APP_NAME="Spark 1.0.0"

Spark文件可以直接通过敏仿以下方式安装:

1、先去官网下载,然后解压缩

2、将解桥升纤压缩后的Spark文件复制到系统的某个路径下;

3、将环境变量设置为解压缩后的Spark文件夹

4、在解压缩后的Spark文件夹下,运行sbin文件夹下的start-all.sh脚本,完成安笑悔装。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/tougao/12215293.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-21
下一篇 2023-05-21

发表评论

登录后才能评论

评论列表(0条)

保存