apache griffin 功能介绍及安装使用

apache griffin 功能介绍及安装使用,第1张

apache griffin 功能介绍及安装使用

官网地址:

Griffin - Quick Start (apache.org)

架构图:

 

支持数据监控形式: 

1. 两张表根据指定字段做数据比对:计算公式: (a.id=b.id)/a.id*100%

2.计算单张表的数据情况,空值,topN,去重计数等。

组件安装教程:

griffin/deploy-guide.md at master · apache/griffin (github.com)

需要组件:

依赖准备

JDK (1.8 or later versions)MySQL(version 5.6及以上)Hadoop (2.6.0 or later)Hive (version 2.x)Spark (version 2.2.1)Livy(livy-0.5.0-incubatingElasticSearch (5.0 or later versions) --测试使用建议单节点容器部署

注意:初始化脚本中缺少一张表的自动创建:

CREATE TABLE `DATACONNECTOR` (
  `ID` bigint(20) NOT NULL,
  `CONFIG` text,
  `CREATEDDATE` bigint(20) DEFAULT NULL,
  `DATAframeNAME` varchar(255) DEFAULT NULL,
  `DATATIMEZONE` varchar(20) DEFAULT NULL,
  `DATAUNIT` varchar(255) DEFAULT NULL,
  `MODIFIEDDATE` datetime DEFAULT NULL,
  `NAME` varchar(255) DEFAULT NULL,
  `TYPE` varchar(255) DEFAULT NULL,
  `VERSION` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`ID`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
安装完成 UI界面配置教程

配置教程 griffin/user-guide.md at master · apache/griffin (github.com)

源表目标表比对监控图:

单表数据校验:

总结:

缺点:

1.整体功能比较单一,只有数据监控功能。

2.依赖组件太多,安装繁琐。

3.缺少预警功能。

优点:

1.配置简单,上手难度较低。

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5701048.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存