apache griffin 功能介绍及安装使用

apache griffin 功能介绍及安装使用

官网地址：

Griffin - Quick Start (apache.org)

架构图：

 

支持数据监控形式： 

1. 两张表根据指定字段做数据比对：计算公式： (a.id=b.id)/a.id*100%

2.计算单张表的数据情况，空值，topN,去重计数等。

组件安装教程：

griffin/deploy-guide.md at master · apache/griffin (github.com)

需要组件：

依赖准备

JDK (1.8 or later versions)MySQL(version 5.6及以上)Hadoop (2.6.0 or later)Hive (version 2.x)Spark (version 2.2.1)Livy（livy-0.5.0-incubatingElasticSearch (5.0 or later versions) --测试使用建议单节点容器部署

注意：初始化脚本中缺少一张表的自动创建：

CREATE TABLE `DATACONNECTOR` (
  `ID` bigint(20) NOT NULL,
  `CONFIG` text,
  `CREATEDDATE` bigint(20) DEFAULT NULL,
  `DATAframeNAME` varchar(255) DEFAULT NULL,
  `DATATIMEZONE` varchar(20) DEFAULT NULL,
  `DATAUNIT` varchar(255) DEFAULT NULL,
  `MODIFIEDDATE` datetime DEFAULT NULL,
  `NAME` varchar(255) DEFAULT NULL,
  `TYPE` varchar(255) DEFAULT NULL,
  `VERSION` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`ID`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

安装完成 UI界面配置教程

配置教程 griffin/user-guide.md at master · apache/griffin (github.com)

源表目标表比对监控图：

单表数据校验：

总结：

缺点：

1.整体功能比较单一，只有数据监控功能。

2.依赖组件太多，安装繁琐。

3.缺少预警功能。

优点：

1.配置简单，上手难度较低。