Flink Metrics指标采集方案

本文讨论的都是基于Flink On K8s场景下，该场景下存在几个特点，一是存在线上业务系统资源复用，二是调度节点存在"随机性"，对现有的Flink Metrics采集及使用姿势提出了新的要求：

Flink任务自动扩缩容，智能诊断场景依赖Metrics指标进行加工分析处理，现有Prometheus存储方案不再适合。
既有的指标采集需要先落本地，再由nodeexporter或lancer导出到目标存储，强依赖于Local环境，线上业务系统资源环境差异较大，扩容等维护成本较高，资源隔离性不够好。
期望在Flink On K8s场景下，Flink Metrics指标采集，能够不依赖于基础环境，对扩缩容友好，，支持指标采集及分析数据存储统一，降低指标维护使用成本，对Flink Metrics指标采集方案进行调研

211、 原理架构图如下

212、 配置方式
将flink-metrics-prometheus-1143jar 包放入到flink安装目录/lib下
修改flink-confyaml配置文件，设置属性
Example configuration:
metricsreporterpromgatewayclass: orgapacheflinkmetricsprometheusPrometheusPushGatewayReporter
metricsreporterpromgatewayhost: localhost
metricsreporterpromgatewayport: 9091
metricsreporterpromgatewayjobName: myJob
metricsreporterpromgatewayrandomJobNameSuffix: true
metricsreporterpromgatewaydeleteOnShutdown: false
metricsreporterpromgatewaygroupingKey: k1=v1;k2=v2
metricsreporterpromgatewayinterval: 60 SECONDS

221、原理架构图如下

222、配置方式

将flink-metrics-prometheus-1143jar 包放入到flink安装目录/lib下
修改flink-confyaml配置文件，设置属性
Example configuration:
metricsreporterpromclass: orgapacheflinkmetricsprometheusPrometheusReporter
metricsreporterpromport: 9250-9260

231、原理架构图如下

232、配置方式

将flink-metrics-influxdb-1143jar 包放入到flink安装目录/lib下
修改flink-confyaml配置文件，设置属性
Example configuration:
metricsreporterinfluxdbfactoryclass: orgapacheflinkmetricsinfluxdbInfluxdbReporterFactory
metricsreporterinfluxdbscheme: >

阿里云数据库 InfluxDB® 版已于近日正式启动商业化 。 云数据库 InfluxDB® 是基于当前最流行的开源数据库 InfluxDB 提供的在线数据库服务，相比较开源具有免运维，稳定可靠，可d性伸缩的优势，广泛应用于互联网基础资源监控，容器监控，业务运营监控分析，物联网设备远程实时监控，工业安全生产监控，生产质量评估和故障回溯。提供时序数据自动化采集，压缩存储，类SQL查询，多维聚合计算和数据可视化分析能力。点击关注，InfluxDB 商业化活动

时序数据和企业业务密切相关，不可或缺。任何一家企业都需要一套高效的运维系统保证实时发现应用和业务问题，通过监控，故障告警的手段，进行故障定位，保证在线业务的稳定，减少不可用时常。业务运营人员依赖运营系统，保证有充足的数据进行业务分析判断，便于更准确的做出业务决策。物联网企业和工业企业都需要能够实时掌握设备的运行状态，对生产过程进行监控，实时判故障预警，故障定位，故障回溯以及业务。以上业务场景都需要时序数据作为“数据证据”来表示指标“变化”过程，进而达到告警，诊断，修复和预测的业务目的。

时序数据很简单，构成具有三个要素，主体，时间戳，和指标数据。比如： xxx公司（主体）2019年8月26日上午10时，11时， 12时（时间戳）的股价分别是：160 USD，165 USD，180 USD（指标值）。概括来说，区别于关系数据库关心的是“最终结果”。时序数据表示的是资产或者过程是如何随着时间变化的，体现的是“变化”的过程价值。

时序数据主要应用在：运维监控，运营分析，设备监控，BI分析，工业安全生产监控场景。这些场景上，产生的核心数据是时序数据，业务特征表现在 写多读少 ，无事务性要求，数据分析强关联时间维度，且实时性要求高。

时序数据库针对时序数据业务特征进行针对性的数据存储结构设计，以及存储方式的优化，在监控等时序业务场景下数据的写入，读取，分析能力相比较传统的关系型数据库如 MySQL ，具有百倍的性能提升。

从数据存储架构上看，关系数据库通常按照行来记录一条时间记录数据，且顺序记录之间无主体关联性，单个主体的记录数据随机分散在多行，如果是分布式数据库甚至分布在多个分分库上，记录之间也没有时间顺序组织数据，连续时间戳的数据，分散在不连续的存储上，这样就造成按照主体和时间维度的数据写入和存储的效率大大降低。

而时序数据库按照主体为维度进行数据存储和索引，完全按照业务使用场景组织数据，相同主体指标数据组织在一起，并且按照时间为度进行分片存储，只需要获取主体信息和时间分片信息就可以顺序进行写入和读取 *** 作。单次IO请求磁盘寻道的时间和获取数据量比关系数据库寻道的效率和获取数据量都要高，查询的时间区间越大，查询主体越多，数据越多，效率差异越大，整体性能比关系数据库要高出十倍甚至百倍。

云InfluxDB® 相比较开源InfluxDB 优势明显。 云InfluxDB 提供云服务的方式，有行业顶级的专家支持服务，具有 免安装，免运维，稳定性高，数据高可靠的优势。使用云存储的方案，数据多副本存储，数据可靠性达到999999% 。

自建快速迁移上云

云 InfluxDB 提供了快速迁云的工具，只需动动鼠标就可以完成自建InfluxDB 到 云 InfluxDB 的迁移。

类SQL 开发友好，快速上手

阿里云 InfluxDB 完全兼容开源 InfluxDB ，面向开发友好， 为了方便传统关系数据库开发者能够快速适应Influx DB开发， 提供给了类 SQL的查询语言 InfluxQL，在提供强大的时序分析能力的基础上，最大程度的沿用了SQL的开发模式，使得学习成本大大降低。

集成数据采集，搭建监控更简单

阿里云数据库 InfluxDB 继承了 Influx DB 良好的开源生态，具有完整的数据采集，存储和数据可视化监控告警体系 TICK Stack 支撑。 同时相比较开源产品，提供了产品化的数据采集服务，只需在控制台进行几步简单 *** 作，“0” 代码完成各类监控源的监控数据自动采集。

云InfluxDB® 金融高可用版即将推出

服务的高可靠和数据一致性对金融类企业至关重要，开源的InfluxDB 没有提供高可靠的HA 版本，阿里云InfluxDB 针对金融，保险，银行，涉及数据和服务高可靠的研发了 HA高可用版本， 目前正在商业化上线的过程中，不久就可上线提供服务。

云InfluxDB® 商业化限时优惠

---