Spark在读目录时候GC，Listing leaf files and directories

Spark在读目录时候GC，Listing leaf files and directories 前言

本文隶属于专栏《Spark异常问题汇总》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见 Spark异常问题汇总

正文

Spark在读目录时候GC，Listing leaf files and directories

Listing leaf files and directories for 259 paths:
hdfs://growingFS/modou/userevent/userevent/label/__date__=20210103

解决

小文件过多，推荐先加堆外内存，Driver 端内存调大一点