官方例子: https://spark.apache.org/docs/2.4.7/api/python/pyspark.sql.html?highlight=sparksession#pyspark.sql.SparkSession
在eclipse中,依次选择“File” –>“New” –>“Other…” –> “Scala Wizard” –>“Scala Project”,创建一个Scala工程,并命名为“SparkScala”。右击“SaprkScala”工程,选择“Properties”,在d出的框中,按照下图所示,依次选择“Java Build Path” –>“Libraties” –>“Add External JARs…”,导入文章“Apache Spark:将Spark部署到Hadoop 2.2.0上”中给出的
assembly/target/scala-2.9.3/目录下的spark-assembly-0.8.1-incubating- hadoop2.2.0.jar,这个jar包也可以自己编译spark生成,放在spark目录下的assembly/target/scala- 2.9.3/目录中。
在eclipse中,依次选择逗File地 –>逗New地 –>逗Other…地 –> 逗Scala Wizard地 –>逗Scala Project地,创建一个Scala工程,并命名为逗SparkScala地。右击逗SaprkScala地工程,选择逗Properties地,在d出的框中,按照下图所示,依次选择逗Java Build Path地 –>逗Libraties地 –>逗Add External JARs…地,导入文章逗Apache Spark:将Spark部署到Hadoop 2.2.0上地中给出的
assembly/target/scala-2.9.3/目录下的spark-assembly-0.8.1-incubating- hadoop2.2.0.jar,这个jar包也可以自己编译spark生成,放在spark目录下的assembly/target/scala- 2.9.3/目录中。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)