spark 报java.lang.StackOverflowError

spark 报java.lang.StackOverflowError,第1张

spark 报java.lang.StackOverflowError spark 广播类报java.lang.StackOverflowError

背景:需要广播一个167M的tree类,所以报栈内存不够
解决办法:在spark-submit里加上:(目前由于数据量级小,所以采用local模式运行)

spark-submit $
--class bp_beauty_op.beauty_op $
--master local[*] $
--driver-java-options "-Xss256m" $
test-1.0-SNAPSHOT.jar

或者在spark-defaults.conf加上spark.driver.extraJavaOptions="-Xss256M"
测试跑过。

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5597426.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-15
下一篇 2022-12-15

发表评论

登录后才能评论

评论列表(0条)

保存