spark创建SparkSession

spark创建SparkSession,第1张

SparkSession 是 spark2.0 引入的概念,可以代替 SparkContext,SparkSession 内部封装了 SQLContext 和 HiveContext,使用更方便。

官方例子: https://spark.apache.org/docs/2.4.7/api/python/pyspark.sql.html?highlight=sparksession#pyspark.sql.SparkSession

在eclipse中,依次选择“File” –>“New” –>“Other…” –> “Scala Wizard” –>“Scala Project”,创建一个Scala工程,并命名为“SparkScala”。

右击“SaprkScala”工程,选择“Properties”,在d出的框中,按照下图所示,依次选择“Java Build Path” –>“Libraties” –>“Add External JARs…”,导入文章“Apache Spark:将Spark部署到Hadoop 2.2.0上”中给出的

assembly/target/scala-2.9.3/目录下的spark-assembly-0.8.1-incubating- hadoop2.2.0.jar,这个jar包也可以自己编译spark生成,放在spark目录下的assembly/target/scala- 2.9.3/目录中。

在eclipse中,依次选择逗File地 –>逗New地 –>逗Other…地 –> 逗Scala Wizard地 –>逗Scala Project地,创建一个Scala工程,并命名为逗SparkScala地。

右击逗SaprkScala地工程,选择逗Properties地,在d出的框中,按照下图所示,依次选择逗Java Build Path地 –>逗Libraties地 –>逗Add External JARs…地,导入文章逗Apache Spark:将Spark部署到Hadoop 2.2.0上地中给出的

assembly/target/scala-2.9.3/目录下的spark-assembly-0.8.1-incubating- hadoop2.2.0.jar,这个jar包也可以自己编译spark生成,放在spark目录下的assembly/target/scala- 2.9.3/目录中。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/bake/11415815.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-15
下一篇 2023-05-15

发表评论

登录后才能评论

评论列表(0条)

保存