5.3 Spark任务提交

5.3 Spark任务提交

• spark-submit提交

编程要求：

        jar包所在位置：/root/project.jar

        主类：Student 提交模式：local

        预期输出：(bj,88)(sh,67)(gz,92)

代码实现：

#!/bin/bash
cp -r  Spark/SparkRDD/target/project.jar /root
cd /opt/spark/dist/bin
#********** Begin **********#
./spark-submit --master local --class Student /root/project.jar
#********** End **********#

• 相关知识：

使用格式：

./bin/spark-submit

--class

--master

--deploy-mode

--conf

... # other options

application-jar

spark-submit参数

参 数介 绍--master提交到哪里执行，如 standalone，local，yarn，mesos等--name 应用程序的名称--class应用程序的主类--deploy-mode Driver 程序运行的地方，client 或者 cluster，默认是client--driver-memory Driver内存，默认 1G--executor-memory每个executor的内存，默认是1G

计算圆周率

cd /opt/spark/dist/bin

./spark-submit

--master local

--class org.apache.spark.examples.SparkPi

/opt/spark/dist/examples/jars/spark-examples_2.11-2.2.0.jar

./spark-submit --master 本地模式 --class 程序运行的主类名 xxx.jar