怎么定时跑spark-submit

一、命令

1.向spark standalone以client方式提交job。

?

1

./spark-submit --master spark://hadoop3:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.3.0-hadoop2.3.0.jar

--deploy-mode client，在提交的节点会有个main进程，来运行Driver program。如果使用--deploy-mode cluster，则Driver program直接运行在worker中。

2.向spark on yarn以client方式提交job.

?

1

./spark-submit --master yarn --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.3.0-hadoop2.3.0.jar

二、Spark1.0.0 应用程序部署工具spark-submit

随着Spark的应用越来越广泛，对支持多资源管理器应用程序部署工具的需求也越来越迫切。Spark1.0.0的出现，这个问题得到了逐步改善。从Spark1.0.0开始，Spark提供了一个容易上手的应用程序部署工具bin/spark-submit，可以完成Spark应用程序在local、Standalone、YARN、Mesos上的快捷部署。

要在Hadoop集群运行上运行JNI程序，首先要在单机上调试程序直到可以正确运行JNI程序，之后移植到Hadoop集群就是水到渠成的事情。 Hadoop运行程序的方式是通过jar包，所以我们需要将所有的class文件打包成jar包。在打包的过程中，无需将动态链接...

---