如何启动spark on yarn 的history

安装好hadoop后，自带yarn 然后将hadoop中的hdfs-sitexml,yarn-sitexml,core-sitexml配置文件拷贝一份到spark的conf目录中； 运行spark程序时，在spark-submit中指定--master yarn-client就可以了 具体可以看看spark-submit的指令说明

1、设置每个executor使用的cpu数为4

sparkexecutorcores 4

2、限制cpu使用数量，这里会启动3个executor(12/4)

sparkcoresmax 12

3、设置每个executor的内存大小为8g

sparkexecutormemory 12g

以上设置将会启动3个executor,每个executor使用4cpu,12gRAM。

总共占用worker资源12cpu,36gRAM。

Spark16的源码部分为：

protected final String EXECUTOR_MEMORY = "--executor-memory";protected final String TOTAL_EXECUTOR_CORES = "--total-executor-cores";protected final String EXECUTOR_CORES = "--executor-cores";

也可以在提交任务的时候添加：

SparkSubmit --class comdyqsparkMyClass --master:spark://master:7077 --total-executor-cores 12 --executor-cores 24 --executor-memory 12g

tip

在使用过程中发现如果使用spark15以下版本有时候会出现即使有资源也申请不到的情况。

以上就是关于如何启动spark on yarn 的history全部的内容，包括:如何启动spark on yarn 的history、如何在Spark集群的work节点上启动多个Executor、等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！