数仓开发的10个陷阱

数仓开发的10个陷阱

目录

• 0- 前言
• 1- 过于迷恋技术，而没有将重点放在业务需求和目标上
• 2- 没有或无法找到一个有影响的、平易近人的、明白事理的高级管理人员作为数仓建设的发起人
• 3- 将项目处理为一个巨大的持续多年的项目，而不是追求更容易管理的、虽然仍然具有挑战性的迭代开发工作
• 4- 分配大量的精力去构建规范化数据结构， 在最终呈现数据之前，用尽所有的预算
• 5- 将主要精力投入到后端 *** 作型性能和易开发性，而没有重点考虑前端查询的性能和易用性
• 6- 使存在于应用层的可查询数据设计的过于复杂，应该通过简化解决方案开发出更适合需要的产品
• 7- 烟囱式开发，不考虑使用可共享的、一致性维度将数据模型联系在一起
• 8- 只将汇总数据加载到数据仓库中
• 9- 臆想业务、业务需求及分析，其涉及的数据及支持技术都是静态的
• 10- 忽略数据仓库的成功直接来源于业务的认可。如果用户未将数据仓库系统当成他们制定决策的基础，那么所有的工作都是徒劳

0- 前言

在Ralph Kimball和Margy Ross的《数据仓库工具箱》一书中，提到了数据仓库设计中的10个常见陷阱，本文针对每个陷阱添加了一条与数据仓库设计经验有关的附加解释。在着手进行数据仓库项目之前，可以了解一下数这10个常见陷阱。这样才可以不被数据仓库设计的陷阱所困扰，避免这10个常见的陷阱可以在构建数仓的过程少走些弯路。

1- 过于迷恋技术，而没有将重点放在业务需求和目标上

• 数仓归根结底是要解决业务问题的，狂拽酷炫的数据架构和层出不穷的新技术通常会比去了解用户需求更具有吸引力。其实，也没有完美的技术架构，只要是能够满足当下及未来可见的业务需求即可，合适就好。应当把时间投入在理解和梳理业务上，这样才能够构建出相对合理的数据模型，从而提高模型的复用性，及时响应业务需求。另外建数仓的目的是什么，或者说数仓有哪些价值呢，其实最终还是要凸显数据的价值，做了一堆表、设计一堆模型，如果只是停留在这个层面，那数仓将毫无意义。通过数据产品透出数据并能够指导业务，才是我们做数仓多应该思考的一个问题。

2- 没有或无法找到一个有影响的、平易近人的、明白事理的高级管理人员作为数仓建设的发起人

• 数仓建设是多部门合作的结果，只有这样才能够真正的实现数据赋能业务。所以没有高层的支持和重视，数仓的建设将会很难推进。这种情况在传统的企业尤其重要，一般互联网公司，数据是内置在基因里面的，对数据重视程度是非常高的，所以利用数据指导业务是顺其自然的事情。对传统的中小企业而言，前期没有数据沉淀，基本上靠手工报表解决一些简单统计，这个时候要去推进一些数仓项目，能有个影响力的领导者是非常重要的，否则将很难推进。

3- 将项目处理为一个巨大的持续多年的项目，而不是追求更容易管理的、虽然仍然具有挑战性的迭代开发工作

• 这是一个经常出现的陷阱，试图建设一个庞大的，无所不包的系统，通常是不可取的。似乎只要建设一个“巨型无比”的系统就可以完成任何工作，解决任何问题一样，其实结果往往会适得其反。更糟的是，管理这些项目的人往往没有与业务进行足够详细的协商，从而开发有用的产品。一言以蔽之，银样镴q头，中看不中用。小步快跑、快速迭代是个非常好的选择，尤其是对于还没有数仓沉淀的情况，可以先run起来，支撑起业务，后面在慢慢迭代即可。这样通过不断产出价值，才能够得到更多部门的支持和配合。

4- 分配大量的精力去构建规范化数据结构， 在最终呈现数据之前，用尽所有的预算

• 这个陷阱不像其他陷阱一样重要，在Kimball的方法论中，对维度模型进行更改所带来的业务风险要比更改源事务数据库小。所以应该留出足够的资源来构建它们，但是很少有中小型企业在资源上进行投资以创建完全一致的事实和维度表，更不用说OLAP数据立方体了，所以再多的理论也解决不了实际的问题，先跑起来才重要，不管姿势是否完美。模型真的重要吗，毫无疑问是重要的，但是也是有轻重缓急的时候，为了设计完美的模型而不支持需求就大错特错了，实际的 *** 作过程中有很大的d性空间，不可被理论禁锢，停滞不前。

5- 将主要精力投入到后端 *** 作型性能和易开发性，而没有重点考虑前端查询的性能和易用性

• 为用户提供易于阅读的数据展示形式并具有良好的查询性能会很重要。

6- 使存在于应用层的可查询数据设计的过于复杂，应该通过简化解决方案开发出更适合需要的产品

• 通常，大多数业务用户都希望简化数据表示方式。此外，对这些数据的访问应限于尽可能少入口。提高获取数据的易用性，会大大提升数仓的价值。

7- 烟囱式开发，不考虑使用可共享的、一致性维度将数据模型联系在一起

• 当维度在整个数据仓库中不一致时，就是典型的烟囱式开发。其实，我们使用的维度在本质上是相同的，但是由于数据来自于不同的业务源，并会被随意更新。典型的例子是“时间”维度，在维模型不一致的情况下，最终用户通常完全不知道为什么一个报表中的数据可能与其他地方生成的报表有显着差异。一种好的做法是将数据模型与主数据管理（MDM）解决方案联系在一起，该解决方案包含可以在整个数据仓库中普遍使用的参考数据

8- 只将汇总数据加载到数据仓库中

• 在事务数据库和数据仓库之间创建的每个ETL（提取，转换和加载）过程中，不能只将汇总的数据装载到数仓中，要确保有一份原子数据存储在数仓中，即将数据同步一份放在准备区(ODS层)。

9- 臆想业务、业务需求及分析，其涉及的数据及支持技术都是静态的

• 尽量不要开发仅限于某个特定业务需求和分析的数据模型，因为业务在不断地发生变化。一个差劲的模型设计通常是开发重复的数据模型及不一致的命名约定。在设计一个“完美”的事实表、维表与规范化程度之间取得平衡并不是一件容易的事情，但是开发出可伸缩的以适应业务发展的数据模型是非常重要的

10- 忽略数据仓库的成功直接来源于业务的认可。如果用户未将数据仓库系统当成他们制定决策的基础，那么所有的工作都是徒劳

• 这个是很致命的陷阱，如果从一开始都没有得到业务和高层的重视和认可，那么数仓项目多半是会夭折。从用户的角度出发，如果用户对建立的数仓不买账，根本就不会去使用它，结局只会game over。

说在最后：

• 以博主近几年的数仓工作来看，我觉得第2点最重要！ 数仓是要统筹规划的，而不是随便一个取数ad-hoc；涉及了统筹就设计多部门的联动，再加上有些陈年老数，各种不规范的数据结构，脏数据。。。；其他部门是否愿意配合你去改，这就体现出一个在公司有地位（技术，人际关系），高情商领导的重要性， 欢迎点赞、收藏、交流哦