求教如何获取数据库增量数据

获取数据库增量数据的几种方式：

a.触发器：在要抽取的表上建立需要的触发器，一般要建立插入、修改、删除三个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时表，抽取线程从临时表中抽取数据，临时表中抽取过的数据被标记或删除。触发器方式的优点是数据抽取的性能较高，缺点是要求业务表建立触发器，对业务系统有一定的影响。

b.时间戳：它是一种基于快照比较的变化数据捕获方式，在源表上增加一个时间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值。当进行数据抽取时，通过比较系统时间与时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新，即表的其它字段的数据发生改变时，自动更新时间戳字段的值。有的数据库不支持时间戳的自动更新，这就要求业务系统在更新业务数据时，手工更新时间戳字段。同触发器方式一样，时间戳方式的性能也比较好，数据抽取相对清楚简单，但对业务系统也有很大的倾入性（加入额外的时间戳字段），特别是对不支持时间戳的自动更新的数据库，还要求业务系统进行额外的更新时间戳 *** 作。

c.全表比对：典型的全表比对的方式是采用MD5校验码。ETL工具事先为要抽取的表建立一个结构类似的MD5临时表，该临时表记录源表主键以及根据所有字段的数据计算出来的MD5校验码。每次进行数据抽取时，对源表和MD5临时表进行MD5校验码的比对，从而决定源表中的数据是新增、修改还是删除，同时更新MD5校验码。

d.日志对比：通过分析数据库自身的日志来判断变化的数据。

“动态增量”是“增量导入数据”在9.1版本中新增的入集市的方式。免费获取更多信息，点击了解更多随着数据量的增大，咱们入集市的方式渐渐的从“同步数据”变成“增量导入数据”，“增量导入数据”的优点大致有两点：1. 入集市的时候可以打上meta，查询的时候按照meta进行查询，加快查询速度；2. 采取每次追加部分数据的方式，跟“同步数据”每次全量数据入集市的方式相比，每天入集市任务的时间更短；数据库处理的数据量更小，减少数据库压力。同时，“增量导入数据”也并不能完全满足咱们数据更新的需求。一. 为什么要用“动态增量”？举个例子，某部门分析的是订单数据，有历史5年的订单数据（2016年1月到2021年3月），历史数据不会变化，只有最近3个月的数据会发生变化，每天想要查询的历史所有订单数据（2016年1月到昨天的数据都可能会查询）。如果使用“增量导入数据”的“普通增量”，每天追加前一天的数据到集市中没有问题，但是无法满足“最近3个月的数据会变化”的场景，比如：咱们在2021年3月10号，将2021年3月9号的数据追加到集市中，但是到了11号的时候，9号的数据发生了变化。”普通增量”是没有办法对集市中已经变化的9号的数据进行update，或者说删除9号的数据，重新导入。这种时候“动态增量”就派上用场啦！

对于要求1，有两种做法

1、在设计数据库的时候，带入时间戳和是否删除字段，新增、修改都要更新这个字段，除此之外，删除是伪删除，也要更新时间戳，然后记录上次的时间戳，就可以取出增量数据了

2、如果设计数据库时未有该内容，只能在加一个类似日志表的东西，记录了什么时候，哪个表，哪行数据，干什么了，然后从这里读取增量

要求2可以通过数据库用户权限完成

要求3和4不明白

---