Flink 1.13 cdc 任务 on yarn 日志查询详解

Flink 1.13 cdc 任务 on yarn 日志查询详解

目录

一，正常部署之后，flink on yarn 任务查看

二，shell命令查看具体日志

三，开启historyserver

四，使用yarn的restfulApi查看信息

五，总结：

---

一，正常部署之后，flink on yarn 任务查看

1，正在运行任务：

2，杀死任务之后：

 

3，我们点击History按钮

进入页面：

这并不是我们想要的效果，so，我们要看看具体的 *** 作。

 

二，shell命令查看具体日志

在shell命令执行：

0，正常查看日志：

 yarn logs -applicationId application_1641381557441_0108

但是我们要找到日志的具体路径：

1，查看任务：

yarn application -list   

 2，找到这个任务的对应的 applicationattempt

yarn applicationattempt -list application_1641381557441_0103

3，执行命令，查看日志在哪里

yarn container -list appattempt_1641381557441_0109_000001

上图可以看出日志分布在哪个datanode 等信息。

4，我们通过yarn的配置文件找到 logs配置的地址

5，我们去目录下查看

 

 进入一个：

OHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHH

是不是很熟悉~ 用命令查看一下：

 

  

三，开启historyserver

0，参考官网文档：

Configuration | Apache Flink
 

配置参数：

 实际使用：

 

 

1, 看上面我们在yarn页面 我们点击History按钮效果是这样的，查看不了kill 掉的日志和历史任务情况，不友好，我们要开启historyserver.

 2, 启动命令

./bin/historyserver.sh start

./bin/historyserver.sh stop

3, 查看效果

我们就可以看看到yarn上的任务，我们再去yarn点击  History按钮

直接跳转到flink页面了，我们就可以查看历史任务的具体情况了：

 

四，使用yarn的restfulApi查看信息

1，使用historyserver api：

Apache Flink 1.11 documentation: History Server

 

2，使用yarn的restful 一些api

参考我之前整理的文章：

https://blog.csdn.net/qq_31866793/article/details/120430028

 

五，总结：

以上的方式弄完就知道要怎么去查看flink的任务日志了。