spark python脚本怎么执行

前段时间使用了一下google的博客空间，感觉也很一般，所以现在把那里的几篇文章转过来。

执行python脚本只需要对python文件做如下 *** 作即可码拍郑：迟颂

在python文件里第一行加上#!

/usr/bin/python，即你的python解释器所在的目录。另外还有一种写法是#!

/usr/bin/env

python

编贺饥辑完成python脚本文件后为它加上可执行权限。例如你的python脚本文件叫做runit.py，那么就在shell中输入如下命令：chmod

+x

runit.py

之后直接在shell中输入./runit.py就可以执行你的python程序了。

当然这是在Linux下的 *** 作，如果想在windows下直接执行Python程序，就需要使用py2exe工具将python源程序编译成exe文件了。

2~spark$ bin/spark-submit first.py

-----------first.py-------------------------------

from pyspark import SparkConf, SparkContext

conf = SparkConf().setMaster("local").setAppName("My App")

sc = SparkContext(conf = conf)

lines = sc.textFile("first.py")

pythonLines = lines.filter(lambda line: "Python"穗颤团 in line)

print "hello python"

print pythonLines.first()

print pythonLines.first()

print "hello spark!"

---------------------------------------------------

hello python

pythonLines = lines.filter(lambda line: "Python" in line)

pythonLines = lines.filter(lambda line: "Python" in line)

hello spark!

到spark的安装目猜橘录下/bin 下面 spark-submit ***.py 即洞亩可

---