PySpark：java.lang.OutofMemoryError：Java堆空间

PySpark：java.lang.OutofMemoryError：Java堆空间

在尝试了配置参数的负载之后，我发现只需更改一项即可启用更多的堆空间，即

spark.driver.memory

。

sudo vim $SPARK_HOME/conf/spark-defaults.conf#uncomment the spark.driver.memory and change it according to your use. I changed it to belowspark.driver.memory 15g# press : and then wq! to exit vim editor

关闭现有的spark应用程序，然后重新运行。您将不会再遇到此错误。:)