如何在Apache Spark预建版本中添加任何新库，例如spark-csv

如何在Apache Spark预建版本中添加任何新库，例如spark-csv

在使用spark-csv时，我还必须下载

commons-csv

jar（不确定它是否仍然有用）。这两个罐子都在spark分布文件夹中。

1. 我下载了以下罐子：

   wget http://search.maven.org/remotecontent?filepath=org/apache/commons/commons-csv/1.1/commons-csv-1.1.jar -O commons-csv-1.1.jar<br/>

   wget http://search.maven.org/remotecontent?filepath=com/databricks/spark-csv_2.10/1.0.0/spark-csv_2.10-1.0.0.jar -O spark-csv_2.10-1.0.0.jar

2. 然后使用以下参数启动python spark shell：

   ./bin/pyspark --jars "spark-csv_2.10-1.0.0.jar,commons-csv-1.1.jar"

3. 并从csv文件读取spark数据帧：

   from pyspark.sql import SQLContext

   sqlContext = SQLContext(sc)
   df = sqlContext.load(source=”com.databricks.spark.csv”, path = “/path/to/you/file.csv”)
   df.show()