万字详解ETL和数仓建模

数据仓库分层的原因

1通过数据预处理提高效率，因为预处理，所以会存在冗余数据

2如果不分层而业务系统的业务规则发生变化，就会影响整个数据清洗过程，工作量巨大

3通过分层管理来实现分步完成工作，这样每一层的处理逻辑就简单了

标准的数据仓库分层：ods（临时存储层），pdw（数据仓库层），mid（数据集市层），app（应用层）

ods：历史存储层，它和源系统数据是同构的，而且这一层数据粒度是最细的，这层的表分为两种，一种是存储当前需要加载的数据，一种是用于存储处理完后的数据。

pdw：数据仓库层，它的数据是干净的数据，是一致的准确的，也就是清洗后的数据，它的数据一般都遵循数据库第三范式，数据粒度和ods的粒度相同，它会保存bi系统中所有历史数据

mid：数据集市层，它是面向主题组织数据的，通常是星状和雪花状数据，从数据粒度将，它是轻度汇总级别的数据，已经不存在明细的数据了，从广度来说，它包含了所有业务数量。从分析角度讲，大概就是近几年

app：应用层，数据粒度高度汇总，倒不一定涵盖所有业务数据，只是mid层数据的一个子集。

数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持。数据仓库的context也可以理解为：数据源，数据仓库，数据应用

数据仓库可以理解为中间集成化数据管理的一个平台

etl（抽取extra，转化transfer，装载load）是数据仓库的流水线，也可以认为是数据仓库的血液。

数据仓库的存储并不需要存储所有原始数据，因为比如你存储冗长的文本数据完全没必要，但需要存储细节数据，因为需求是多变的，而且数据仓库是导入数据必须经过整理和转换使它面向主题，因为前台数据库的数据是基于oltp *** 作组织优化的，这些可能不适合做分析，面向主题的组织形式才有利于分析。

多维数据模型就是说可以多维度交叉查询和细分，应用一般都是基于联机分析处理（online analytical process OLAP），面向特定需求群体的数据集市会基于多位数据模型构建

而报表展示就是将聚合数据和多维分析数据展示到报表，提供简单和直观的数据。

元数据，也叫解释性数据，或者数据字典，会记录数据仓库中模型的定义，各层级之间的映射关系，监控数据仓库的数据状态和etl的任务运行状态。一般通过元数据资料库来统一存储和管理元数据。

纬度数据库所描述的关系模式就是关系的描写关系模式，首先描绘与关系对应的两个维度的表结构，这些关系中都包含着一些属性，这些属性都来自于固定的领域，以及与域之间的映象关系。 

关系是n个域的笛卡儿积的子集，组成关系的元组必须是笛卡儿积中使n目谓词为真的元组，所有有可能的关系必须满足非常完整并且基础的约束条件，而关系模式也要把这个约束条件描述出来。

在这其中关系模式和关系的区别就在于关系模式，主要就是描述一些数据结构的语句意思，而关系是一个数据的集合，是关系的值，是关系模式的一个关系实例。

数据库维度的基本概念：

1、多维数据集。多维数据集是联机分析处理(OLAP)中的主要对象，是一项可对数据仓库中的数据进行快速访问的技术。多维数据集是一个数据集合，通常从数据仓库的子集构造，并组织和汇总成一个由一组维度和度量值定义的多维结构。

2、xx(dimension)是多维数据集的结构性特性。它们是事实数据表中用来描述数据的分类的有组织层次结构(级别)。这些分类和级别描述了一些相似的成员集合，用户将基于这些成员集合进行分析。

3、度量值。在多维数据集中，度量值是一组值，这些值基于多维数据集的事实数据表中的一列，而且通常为数字。此外，度量值是所分析的多维数据集的中心值。

即，度量值是最终用户浏览多维数据集时重点查看的数字数据。您所选择的度量值取决于最终用户所请求的信息类型。一些常见的度量值有sales、cost、expenditures和productioncount等。

4、元数据。不同OLAP组件中的数据和应用程序的结构模型。元数据描述OLTP数据库中的表、数据仓库和数据集市中的多维数据集这类对象，还记录哪些应用程序引用不同的记录块。

5、级别。级别是维度层次结构的一个元素。级别描述了数据的层次结构，从数据的最高(汇总程度最大)级别直到最低(最详细)级别。

6、数据挖掘。数据挖掘使您得以定义包含分组和预测规则的模型，以便应用于关系数据库或多维OLAP数据集中的数据。之后，这些预测模型便可用于自动执行复杂的数据分析，以找出帮助识别新机会并选择有获胜把握的机会的趋势。

7、多维OLAP(MOLAP)。MOLAP存储模式使得分区的聚合和其源数据的复本以多维结构存储在分析服务器计算机上。根据分区聚合的百分比和设计，MOLAP存储模式为达到最快查询响应时间提供了潜在可能性。总而言之，MOLAP更加适合于频繁使用的多维数据集中的分区和对快速查询响应的需要。

8、关系OLAP(ROLAP)。ROLAP存储模式使得分区的聚合存储在关系数据库的表(在分区数据源中指定)中。但是，可为分区数据使用ROLAP存储模式，而不在关系数据库中创建聚合。

9、数据钻取。最终用户从常规多维数据集、虚拟多维数据集或连接多维数据集中选择单个单元，并从该单元的源数据中检索结果集以获得更详细的信息，这个 *** 作过程就是数据钻取。

10、数据挖掘模型。数据挖掘使您得以定义包含分组和预测规则的模型，以便应用于关系数据库或多维OLAP数据集中的数据。之后，这些预测模型便可用于自动执行复杂的数据分析，以找出帮助识别新机会并选择有获胜把握的机会的趋势。

元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。一般会通过元数据资料库（Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、 *** 作和管理能达成协同和一致。

元数据是数据仓库管理系统的重要组成部分，元数据管理是企业级数据仓库中的关键组件，贯穿数据仓库构建的整个过程，直接影响着数据仓库的构建、使用和维护。

构建数据仓库的主要步骤之一是ETL。这时元数据将发挥重要的作用，它定义了源数据系统到数据仓库的映射、数据转换的规则、数据仓库的逻辑结构、数据更新的规则、数据导入历史记录以及装载周期等相关内容。数据抽取和转换的专家以及数据仓库管理员正是通过元数据高效地构建数据仓库。用户在使用数据仓库时，通过元数据访问数据，明确数据项的含义以及定制报表。数据仓库的规模及其复杂性离不开正确的元数据管理，包括增加或移除外部数据源，改变数据清洗方法，控制出错的查询以及安排备份等。

元数据可分为技术元数据和业务元数据。技术元数据为开发和管理数据仓库的IT 人员使用，它描述了与数据仓库开发、管理和维护相关的数据，包括数据源信息、数据转换描述、数据仓库模型、数据清洗与更新规则、数据映射和访问权限等。而业务元数据为管理层和业务分析人员服务，从业务角度描述数据，包括商务术语、数据仓库中有什么数据、数据的位置和数据的可用性等，帮助业务人员更好地理解数据仓库中哪些数据是可用的以及如何使用。

由上可见，元数据不仅定义了数据仓库中数据的模式、来源、抽取和转换规则等，而且是整个数据仓库系统运行的基础，元数据把数据仓库系统中各个松散的组件联系起来，组成了一个有机的整体。

派可数据，用心创造数据价值 让数据分析更简单

以上就是关于万字详解ETL和数仓建模全部的内容，包括:万字详解ETL和数仓建模、数据仓库与数据库有什么联系、什么是数据仓库，数据仓库如何分层等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！