spark集成odps后排查报错日志

spark集成odps后排查报错日志

spark of odps 的日志报错排查

• • • logview
    • 寻找报错executor
    • spark UI

开源的spark估计大多人都会使用ui界面来排查日志。
但是odps【阿里云】集成的spark，当提交了任务之后，有些时候控制台都打印报错了，但是点击UI界面发现每一个executor都是成功的，没有失败的。下面就一起来看看吧

樂

logview

排查日志的第一个界面。

点击图中Detail，便可以看到如下界面，之后点击红圈处便可以看到具体的日志。

寻找报错executor

一般排查问题都需要寻找报错节点，但是odps spark的节点显示不会报错，只有未完成和已完成，这里可以从已完成的节点中，按照时间倒序，依次看节点日志是否有报错。【原因是报错一般是处于最近完成节点，早些完成的节点既然完成未报错，那么应该没问题】
下图是寻找到的报错日志：

spark UI

这个就不多说了，大家应该都会用。