YARN中Spark应用程序的物理内存不断增加

终于我摆脱了这个问题。问题是，在Spark
SQL的镶木地板写路径中创建的压缩器没有被回收，因此，我的执行者正在为每个镶木地板写文件创建一个全新的压缩器（从本机内存），从而耗尽了物理内存限制。

我在镶木地板Jira中打开了以下bug，并提高了PR的公关率：-

https://issues.apache.org/jira/browse/PARQUET-353

这解决了我的内存问题。

PS-您只会在Parquet写入密集型应用程序中看到此问题。