数仓设计--维度（全量、拉链表）

维度属性通常不是静态的，而是会随时间变化的，数据仓库的一个重要特点就是反映历史的变化，所以如何保存维度的历史状态是维度设计的重要工作之一。保存维度数据的历史状态，通常有以下两种做法，分别是全量快照表和拉链表

1 ）全量快照表

离线数据仓库的计算周期通常为每天一次，所以可以每天保存一份全量的维度数据。这种方式的优点和缺点都很明显

优点是简单而有效，开发和维护成本低，且方便理解和使用。

缺点是浪费存储空间，尤其是当数据的变化比例比较低时。

2 ）拉链表

拉链表的意义就在于能够更加高效的保存维度信息的历史状态。

拉链表是记录每条信息的生命周期，一旦一条记录的生命周期结束，就重新开始一条新的记录，并把当期日期放入生效开始日期，如果当前信息至今有效，再生效结束日期种填入一个极大值

（1）什么是拉链表

拉链表适合于：数据发生变化，但是变化频率并不高的维度（即：缓慢变化维）

比如：用户信息会发生变化，但是每天变化的比例不高。如果数据量有一定规模，按照每日全量的方式保存效率很低。比如：1亿用户*365天，每天一份用户信息（做每日全量效率低）

通过，生效开始日期<=某个日期且生效结束日期>=某个日期

如果事实表中一条记录在某个维度表中有多条记录与之对应，称为多值维度。例如，下单事实表中的一条记录为一个订单，一个订单可能包含多个商品，所会商品维度表中就可能有多条数据与之对应。

针对这种情况，通常采用以下两种方案解决。

第一种：降低事实表的粒度，例如将订单事实表的粒度由一个订单降低为一个订单中的一个商品项。

第二种：在事实表中采用多字段保存多个维度值，每个字段保存一个维度id。这种方案只适用于多值维度个数固定的情况。

建议尽量采用第一种方案解决多值维度问题

维表中的某个属性同时有多个值，称之为“多值属性”，例如商品维度的平台属性和销售属性，每个商品均有多个属性值。

针对这种情况，通常有可以采用以下两种方案。

第一种：将多值属性放到一个字段，该字段内容为key1:value1，key2:value2的形式，例如一个手机商品的平台属性值为“品牌:华为，系统:鸿蒙，CPU:麒麟990”。

第二种：将多值属性放到多个字段，每个字段对应一个属性。这种方案只适用于多值属性个数固定的情况

将数据导入hdfs中

原始表：

查询如下：

1月三号的数据

1月四号的数据

这样就将修改的数据增加了一条flink 数据修改了之前的hive 数据

拉链临时表数据

覆盖

最终显示：

---