今天在运行一个hivesql的时候,整体的运行总是卡在这个阶段,没有map任务出现,也没有reduce任务出现,但是在不涉及mapreduce任务的sql都可以查询出来结果
整体也只有这一个application在运行,其余的运行任务,也都通过“yarn application -kill application_id”给终结了
整体的环境也没有任何问题
后来通过命令发现是整体的datanode磁盘使用过多,也有很多的垃圾文件没有来得及回收,这里删除一部分hdfs的文件,就可以正常运行了。
感谢阅读,我是啊帅和和,一位大数据专业大四学生,祝你快乐。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)