求教如何获取数据库增量数据

求教如何获取数据库增量数据,第1张

获取数据增量数据的几种方式:

a.触发器:在要抽取的表上建立需要的触发器,一般要建立插入、修改、删除三个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的数据写入一个临时表,抽取线程从临时表中抽取数据,临时表中抽取过的数据被标记或删除。触发器方式的优点是数据抽取的性能较高,缺点是要求业务表建立触发器,对业务系统有一定的影响。

b.时间戳:它是一种基于快照比较的变化数据捕获方式,在源表上增加一个时间戳字段,系统中更新修改表数据的时候,同时修改时间戳字段的值。当进行数据抽取时,通过比较系统时间与时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新,即表的其它字段的数据发生改变时,自动更新时间戳字段的值。有的数据库不支持时间戳的自动更新,这就要求业务系统在更新业务数据时,手工更新时间戳字段。同触发器方式一样,时间戳方式的性能也比较好,数据抽取相对清楚简单,但对业务系统也有很大的倾入性(加入额外的时间戳字段),特别是对不支持时间戳的自动更新的数据库,还要求业务系统进行额外的更新时间戳 *** 作。

c.全表比对:典型的全表比对的方式是采用MD5校验码。ETL工具事先为要抽取的表建立一个结构类似的MD5临时表,该临时表记录源表主键以及根据所有字段的数据计算出来的MD5校验码。每次进行数据抽取时,对源表和MD5临时表进行MD5校验码的比对,从而决定源表中的数据是新增、修改还是删除,同时更新MD5校验码。

d.日志对比:通过分析数据库自身的日志来判断变化的数据。

“动态增量”是“增量导入数据”在9.1版本中新增的入集市的方式。免费获取更多信息,点击了解更多随着数据量的增大,咱们入集市的方式渐渐的从“同步数据”变成“增量导入数据”,“增量导入数据”的优点大致有两点:1. 入集市的时候可以打上meta,查询的时候按照meta进行查询,加快查询速度;2. 采取每次追加部分数据的方式,跟“同步数据”每次全量数据入集市的方式相比,每天入集市任务的时间更短;数据库处理的数据量更小,减少数据库压力。同时,“增量导入数据”也并不能完全满足咱们数据更新的需求。一. 为什么要用“动态增量”?举个例子,某部门分析的是订单数据,有历史5年的订单数据(2016年1月到2021年3月),历史数据不会变化,只有最近3个月的数据会发生变化,每天想要查询的历史所有订单数据(2016年1月到昨天的数据都可能会查询)。如果使用“增量导入数据”的“普通增量”,每天追加前一天的数据到集市中没有问题,但是无法满足“最近3个月的数据会变化”的场景,比如:咱们在2021年3月10号,将2021年3月9号的数据追加到集市中,但是到了11号的时候,9号的数据发生了变化。”普通增量”是没有办法对集市中已经变化的9号的数据进行update,或者说删除9号的数据,重新导入。这种时候“动态增量”就派上用场啦!

对于要求1,有两种做法

1、在设计数据库的时候,带入时间戳和是否删除字段,新增、修改都要更新这个字段,除此之外,删除是伪删除,也要更新时间戳,然后记录上次的时间戳,就可以取出增量数据了

2、如果设计数据库时未有该内容,只能在加一个类似日志表的东西,记录了什么时候,哪个表,哪行数据,干什么了,然后从这里读取增量

要求2可以通过数据库用户权限完成

要求3和4不明白


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/sjk/10007538.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-04
下一篇 2023-05-04

发表评论

登录后才能评论

评论列表(0条)

保存