背景:需要广播一个167M的tree类,所以报栈内存不够
解决办法:在spark-submit里加上:(目前由于数据量级小,所以采用local模式运行)
spark-submit $ --class bp_beauty_op.beauty_op $ --master local[*] $ --driver-java-options "-Xss256m" $ test-1.0-SNAPSHOT.jar
或者在spark-defaults.conf加上spark.driver.extraJavaOptions="-Xss256M"
测试跑过。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)