如何在程序内提交spark任务 python

前段时间使用了一下google的博客空间，感觉也很一般，所以现在把那里的几篇文章转过来。 执行python脚本只需要对python文件做如下 *** 作即可： 在python文件里第一行加上#! /usr/bin/python，即你的python解释器所在的目录。另外还有一种写法是#! ...

>>>mystring="54321"

>>>mytuple=(5,4,3,2,1)

>>>mylist=[5,4,3,2,1]

>>>mystring[::-1]

'12345'

>>>mytuple[::-1]

(1, 2, 3, 4, 5)

>>>mylist[::-1]

[1, 2, 3, 4, 5]

1、Spark脚本提交/运行/部署1.1spark-shell（交互窗口模式）运行Spark-shell需要指向申请资源的standalonespark集群信息，其参数为MASTER，还可以指定executor及driver的内存大小。sudospark-shell--executor-memory5g--driver-memory1g--masterspark://192.168.180.216:7077spark-shell启动完后，可以在交互窗口中输入Scala命令，进行 *** 作，其中spark-shell已经默认生成sc对象，可以用：valuser_rdd1=sc.textFile(inputpath,10)读取数据资源等。1.2spark-shell（脚本运行模式）上面方法需要在交互窗口中一条一条的输入scala程序；将scala程序保存在test.scala文件中，可以通过以下命令一次运行该文件中的程序代码：sudospark-shell--executor-memory5g--driver-memory1g--masterspark//192.168.180.216:7077

---