数据仓库——数据重刷机制

数据仓库——数据重刷机制

数据重刷机制背景：

在大数据处理、分析中存储一直都是基石，但是有一个问题是即使存储不挂，数据也不一定就是准确的；如果存储挂了，数据一定不准确，此时就需要校验数据是否正确，并且将数据修改正确正确的机制。

注：

常用的组件sqoop抽数据，无error丢数据的概率很小

数据质量校验：

需要注意数据量校验分成令部分校验count是否相同，在count相同的基础上查看内容是否相同。
数据量相同
数据量不同时启动重刷机制判断补或者删使用spark比较多
通过抽样5%来判断，数据内容是否相同

数据重刷机制：

如果发现用count校验上下游的数据不准确：
引入重刷机制：
通过对上下游的两个表求full outer join来对比字段的null值

上游表a mysql 所有的字段拥有主键 a表

1
2
3
4

1   d1   18
2   d2   19
3   d3   20
7   d7   22

下游表b phoenix 拥有主键 b表

1
2
3
4

1   d1   18
3   d3   19
5   d5   20
6   d6   21

有可能是还没来得及同步到下游，没有来得及删或者其他bug造成的。此时表a和表b对比表a少了5、6多了7，表b少了2、7多了6

对两个表做full outer join 成为新表t

1
2
3
4
5
6
7

aid                  bid
1     d1     18     1
2     d2     19     null
3     d3     20     3
7     d7     22     null 
null   null    null    5
null   null    null    6

以表a为标准，对生成后的大表做筛选，查找aid为null的记录

1

select * from t where aid=null

发现bid为5、6的行aid为null，说明bid下游数据多了，根据bid重新构建

1
2

delete from b where bid=5
delete from b where bid=6

以表a为标准，对生成后的大表做筛选，查找bid为null的记录

1

select * f rom t where bid=null

发现aid为2、7的bid为null，说明bid下游数据少了，根据aid重新构建

1
2

insert into 2 d2 19 
insert into 7 d7 22

最重经过重新构建、重刷后的数据是

1
2
3
4
5

aid           bid
1   d1   18   1
2   d2   19   2
3   d3   20   3
7   d7   22   7

注意：

full outer join其实就是先left join，后right join的两个结果，为null的刚好是缺少的或者多的，而交集是上下游都有的数据，需要做的是left join为null做insert或者delete，还是right join为null做insert或者delete *** 作。