本文讨论的都是基于Flink On K8s场景下,该场景下存在几个特点,一是存在线上业务系统资源复用,二是调度节点存在"随机性",对现有的Flink Metrics采集及使用姿势提出了新的要求:
Flink任务自动扩缩容,智能诊断场景依赖Metrics指标进行加工分析处理,现有Prometheus存储方案不再适合。
既有的指标采集需要先落本地,再由nodeexporter或lancer导出到目标存储,强依赖于Local环境,线上业务系统资源环境差异较大,扩容等维护成本较高,资源隔离性不够好。
期望在Flink On K8s场景下,Flink Metrics指标采集,能够不依赖于基础环境,对扩缩容友好,,支持指标采集及分析数据存储统一,降低指标维护使用成本,对Flink Metrics指标采集方案进行调研
211、 原理架构图如下
212、 配置方式
将flink-metrics-prometheus-1143jar 包放入到flink安装目录/lib下
修改flink-confyaml配置文件,设置属性
Example configuration:
metricsreporterpromgatewayclass: orgapacheflinkmetricsprometheusPrometheusPushGatewayReporter
metricsreporterpromgatewayhost: localhost
metricsreporterpromgatewayport: 9091
metricsreporterpromgatewayjobName: myJob
metricsreporterpromgatewayrandomJobNameSuffix: true
metricsreporterpromgatewaydeleteOnShutdown: false
metricsreporterpromgatewaygroupingKey: k1=v1;k2=v2
metricsreporterpromgatewayinterval: 60 SECONDS
221、原理架构图如下
222、配置方式
将flink-metrics-prometheus-1143jar 包放入到flink安装目录/lib下
修改flink-confyaml配置文件,设置属性
Example configuration:
metricsreporterpromclass: orgapacheflinkmetricsprometheusPrometheusReporter
metricsreporterpromport: 9250-9260
231、原理架构图如下
232、配置方式
将flink-metrics-influxdb-1143jar 包放入到flink安装目录/lib下
修改flink-confyaml配置文件,设置属性
Example configuration:
metricsreporterinfluxdbfactoryclass: orgapacheflinkmetricsinfluxdbInfluxdbReporterFactory
metricsreporterinfluxdbscheme: >
以上就是关于influxdb语句一则:查询某天内的聚合指标全部的内容,包括:influxdb语句一则:查询某天内的聚合指标、InfluxDB与ElasticSearch、influxdb2.0 beta填坑等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)