GBase 8a consumer功能应用方案

GBase 8a consumer功能应用方案

场景：

某大数据云平台项目，需要从事务型数据库实施同步到Gbase8a数据库，用来存储长时间序列历史数据用于各种数据分析场景。同时对分析场景有一定实时要求，要求数据延迟在分钟级以内。

分析：

对业务流程进行梳理发现需要实时从事务型数据库同步 *** 作到8a数据库，而且存在大量的对历史数据的频繁地进行单条DML *** 作，其中更新 *** 作为非全列更新，原有的数据延迟定期加载的方式不能满足现场要求，经评估采用kafka存储 *** 作信息，8a通过consumer消费的方式消费进入8a数据库 。

利用kafka高吞吐量、低延迟的优势，对前端短时密集的事物 *** 作进行存储，通过Gbase8a consumer功能批量读取kafka中的大量事物 *** 作，进行攒批读取，对冲合并后，以批量insert和批量delete的方式进行入库处理。对于密集型事务 *** 作可以进行有效地消费，同时延迟达到要求。实际测试基础数据量百亿级表，混合dml延迟低于15秒。

方案优点：

能满足准实时同步数据业务需求，对于有历史数据 *** 作需求的业务场景的，单纯通过增量数据加载的方式不能满足业务要求的场景，consumer功能可以补充8a实时同步方面的功能。对于大批量的单条dml *** 作，consumer可以对kafka的消息进行内部的攒批读取对冲合并入库处理，提升了Gbase8a分析库对事务型 *** 作的准实时同步性能。