Spark 1.4增加maxResultSize内存

Spark 1.4增加maxResultSize内存

您可以

spark.driver.maxResultSize

在

SparkConf

对象中设置参数：

from pyspark import SparkConf, SparkContext# In Jupyter you have to stop the current context firstsc.stop()# Create new configconf = (SparkConf()    .set("spark.driver.maxResultSize", "2g"))# Create new contextsc = SparkContext(conf=conf)

您可能还应该创建一个新的

SQLContext

：

from pyspark.sql import SQLContextsqlContext = SQLContext(sc)