用eclipse怎么调试Spark Application

用eclipse怎么调试Spark Application,第1张

Spark有个关于是否允许一个application存在多个SparkContext实例的配置项, 如下: spark.driver.allowMultipleContexts: If true, log warnings instead of throwing exceptions when multiple SparkContexts are active. 该值默认为false, 即不

在“File|ProjectStructure|Libraries”窗体中点击绿色+号,选择“Java”,在d出的窗体中选择“Spark”的安装目录,定位到Spark\jars目录,点击“OK”,把全部jar文件引入到项目中。网上和目前出版的书中讲解是spark2.0以下版本,采用的是把sparkle核心文件(如:“spark-assembly-1.3.0-hadoop2.4.0.jar”)拷贝到InterllijIDEA安装目录下的Lib目录下,再使用Spark。由于Spark2.1.0已经取消了该文件,因此无法用原先的方法。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/yw/12030265.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-20
下一篇 2023-05-20

发表评论

登录后才能评论

评论列表(0条)

保存