如何在pyspark中获取Python库？

如何在pyspark中获取Python库？

在Spark上下文中，尝试使用：

SparkContext.addPyFile("module.py")  # also .zip

，引用文档：

为将来要在此SparkContext上执行的所有任务添加.py或.zip依赖项。传递的路径可以是本地文件，HDFS（或其他受Hadoop支持的文件系统）中的文件或HTTP，HTTPS或FTP
URI。