浅析数据仓库的构建方法

浅析数据仓库的构建方法

随着不同的管理信息系统（MIS）在企业不同部门的大规模应用及企业对数据管理不断提出新的要求，不仅要求能实现传统的联机事务处理，而且越来越多的要求是各种应用系统能够在企业不断积累的以及从企业外部获取的丰富信息资源的基础上，把这些分散的、不一致的、凌乱的信息资源加以利用，即更多地参与数据分析和决策支持，由此出现了一种用于数据分析处理和决策支持的数据存储和组织技术，即数据仓库技术。

1、什么是数据仓库

数据仓库是面向主题的、集成的、具有时间特征的、稳定的数据集合，用以支持经营管理中的决策制定过程。数据仓库提供用户用于决策支持的当前和历史数据，这些数据在传统的 *** 作型数据库中很难或不能得到。

面向主题是指数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个 *** 作型信息系统相关。集成的是指数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。

数据仓库的体系结构分数据源、数据转换、数据仓库、数据集市和用户几部分。数据源，包括企业内部的业务数据、遗留数据、其它业务系统数据及相关WEB数据等；数据转换是数据仓库构建的重要环节，主要是对各种复杂的数据源进行抽取、转换、装载及其他处理，同时要实现数据质量跟踪监控以及元数据抽取与创建等工作；数据仓库主要实现对各种数据的组织、存储及管理等；数据集市是为不同业务而单独设计的数据仓库系统，即开发者为企业内部的不同用户群定制特殊的数据仓库子系统。用户部分，即具体面向使用者的应用部分，主要是指数据仓库存取与检索为用户提供了访问数据仓库或数据集市的功能，其中分析与报告为用户使用数据仓库提供了一组工具，用于帮助用户对数据仓库或数据集市进行联机分析或数据挖掘等。

2、数据仓库构建方法

21 普通数据仓库构建方法。对于普通数据仓库的构建，企业在对整个系统的建设综合各种因素的基础上，将整个项目的实施分阶段、分步骤实施，可以在每一阶段建设的基础上分阶段纳入不同的业务系统，逐步建立起一个综合的、专题较为完善的、适合部门、子单位使用的完整的数据仓库系统，从而才能使投资尽快获得收益。

在数据仓库的构建过程中，利用模糊数学可实现数据仓库内数据的语义表示，丰富数据加工的手段，提高分析处理的能力。数据仓库的构建，一般采取先构建数据集市，最后将各个数据集市整合在一起形成数据仓库的渐进模式；通过概念层、逻辑层、物理层建模，确定相关主题域的数据集市并对其进行联机分析处理。构建数据仓库模型一般采用以下几种：

211 星型模型：星型模型是最常用的数据仓库设计结构的实现模式。使数据仓库形成了一个集成系统，为用户提供分析服务对象。该模型的核心是事实表，围绕事实表的是维度表。通过事实表将各种不同的维度表连接起来，各个维度表都连接到中央事实表。[page] 212 星系模型（也称雪花模型）：雪花模型对星型模型的维度表进一步标准化，对星型模型中的维度表进行了规范化处理。同时也是对星型模型的扩展，每一个维度都可以向外连接到多个详细类别表。在实际应用中，用户的需求多种多样，数据来源可能为多个事实表，故可采用多个事实表共存，之间通过公用的维表相关联的星系模型，也称为事实星座。

213 原子级数据模型和汇总级数据模型并存：坚持原子级数据模型和汇总级数据模型并存，而且要尽可能地细化原子级数据。

214 设立代理键：代理键是维表中一些没有业务含义的字段，只是一个由数据仓库加载程序时建立的数字。

22 空间数据仓库构建方法。随着GIS（地理信息系统）在各行业的广泛应用，最初面向事务处理为主的空间数据库信息系统已不能满足需要，信息系统开始从管理转向决策处理，空间数据仓库就是为满足这种新的需求而提出的空间信息集成系统。尤其是地理信息决策支持系统中，空间数据仓库系统显得尤为重要。

空间数据仓库具有普通数据仓库的普遍特征，但其本身有一些特殊性。并且空间数据仓也并不是空间数据库的简单集合。与空间数据库比，空间数据仓除支持数据库外，还支持数据文件、文本文件、应用程序等众多数据源；另外空间数据仓库中的数据有时间数据、空间数据、属性数据及异构数据等多种数据；其次空间数据仓库中还包括了数据处理规则、算法等；再次空间数据仓库的数据是对原始数据进行加工、处理、集成等转换，是对数据的增值和统一；空间数据库还引入了时间纵的概念，它是以时间为基准来管理数据，可以截取不同时间尺度上的信息，从瞬态到区段时间直到全体，空间数据仓库是依赖于时间维的数据结构，它可以根据不同的需要划分不同的时间粒度等级，以便进行各种复杂的趋势分析。当然，不言而喻，它还包含了空间维的方位数据。正因为空间数据仓库与普通数据仓库的不同，并且它以空间数据仓库完全不是相同的概念，一般空间数据仓库以如下体系结构分为四大功能模块，分别是源数据、数据变换工具、空间数据仓库、客户端分析工具。源数据它不仅指那些常见的空间数据库，还包括文件、网页、知识库、遗留系统等各种数据源。数据变换工具与具有普通数据仓库数据变换相同的提取转换功能，但它还包括了特有的空间变换等。空间数据仓库以立体、多维的方式来组织和显示数据。但最基本的空间维和时间维是其反映客观世界动态变化的基础，空间数据仓库技术最关键要点也就是时间维和空间维数据组织方式。目前空间数据仓库已成为国、内外GIS（地理信息系统）研究的热点并取得了较大进展。要把空间信息融合进企业现有的数据仓库中，在原有系统不作较大改动的前提下，一般采用三种模式构建企业空间数据仓库：（1）把空间信息作为多维模型中的空间维引入；（2）把空间信息作为研究主题引入；（3）在维和度量中都包含空间信息。因此，计算并存储所有空间度量是不现实的。一般使用空间索引树（如R-tree）在最细空间粒度上构建分组层次，作为空间维的分层，每个空间维需要建立一棵空间索引树。

3、结束语

总之，数据仓库构建是数据仓库技术的关键，数据仓库技术是一项基于数据管理和利用的综合性技术和解决方案，尤其是现在空间数据仓库在GIS 中的广泛应用，它成为数据库市场的新一轮增长点，同时也成为下一代信息系统的重要组成部分。

1、首先你得搞清楚建设数仓的目的是什么

是偏向于整合各系统数据，为数据分析决策服务，还是偏向于快速的完成分析决策需求？

如果是前者，那么在数据仓库建模的时候一般会选择ER建模方法；

如果是后者，一般会选择维度建模方法。

ER建模：即实体关系建模，由数据仓库之父BIll Inmon提出，核心思想是从全企业的高度去设计三范式模型，用实体关系描述企业服务。主张的是自上而下的架构，将不同的OLTP数据集中到面向主题的数据仓库中。

维度建模：由Kimball提出，核心思想是从分析决策的需求出发构建模型。这种模型由事实表和维表组成，即星型模型和雪花模型。Kimball倡导自下而上的架构，可以针对独立部门建立数据集市，再递增的构建，汇总成数据仓库。

2、其次你得进行深入的业务调研和数据调研

业务调研：深入的业务调研能使你更加明确数仓建设的目的；同时也利于后续的建模设计，随着调研的开展，如何将实体业务抽象为数仓模型会更加明朗。

数据调研：各部门或各科室的数据现状了解，包括数据分类、数据存储方式、数据量、具体的数据内容等等。这对后续的主数据串联或者维度一致性处理等等都是必须的基础。

3、然后是数据仓库工具选型

传统型数据仓库：一般会选择第三方厂家的数据库和配套ETL工具。因为有第三方支持，相对有保障；但缺点也很明显，受约束以及成本较高。

NoSQL型数据仓库：一般是基于hadoop生态的数据仓库。hadoop生态已经非常强大，可以找到各种开源组件去支持数据仓库。缺点是需要招聘专门人士去摸索，并且相对会存在一些未知隐患。

4、最后是设计与实施

设计：包括数据架构中的数据层次划分以及具体的模型设计；也包括程序架构中的数据质量管理、元数据管理、调度管理等；

实施：规范化的项目管理实施，但同时也需记住一点，数据仓库不是一个项目，它是一个过程。

OLTP和OLAP主要区别有：

1、基本含义不同：OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，记录即时的增、删、改、查，比如在银行存取一笔款，就是一个事务交易。OLAP即联机分析处理，是数据仓库的核心部心，支持复杂的分析 *** 作，侧重决策支持，并且提供直观易懂的查询结果。典型的应用就是复杂的动态报表系统。

2、实时性要求不同：OLTP实时性要求高，OLTP 数据库旨在使事务应用程序仅写入所需的数据，以便尽快处理单个事务。OLAP的实时性要求不是很高，很多应用顶多是每天更新一下数据。

3、数据量不同：OLTP数据量不是很大，一般只读/写数十条记录，处理简单的事务。OLAP数据量大，因为OLAP支持的是动态查询，所以用户也许要通过将很多数据的统计后才能得到想要知道的信息，例如时间序列分析等等，所以处理的数据量很大。

4、用户和系统的面向性不同：OLTP是面向顾客的,用于事务和查询处理。OLAP是面向市场的,用于数据分析。

5、数据库设计不同：OLTP采用实体-联系ER模型和面向应用的数据库设计。OLAP采用星型或雪花模型和面向主题的数据库设计。

扩展资料：

一、OLTP

On-Line Transaction Processing联机事务处理过程(OLTP)

也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户 *** 作快速响应的方式之一。

二、OLAP

联机分析处理OLAP是一种软件技术，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。

联机分析处理OLAP具有共享多维信息的快速分析的特征（即FASMI）。其中F是快速性(Fast)，指系统能在数秒内对用户的多数分析要求做出反应；A是可分析性(Analysis)，指用户可以定义新的专门计算，将其作为分析的一部分；M是多维性(Multi—dimensional)，指提供对数据分析的多维视图和分析；I是信息性(Information)，指能及时获得信息，并且管理大容量信息。

参考资料：

1、面向主题。 *** 作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个 *** 作型信息系统相关。

2、集成的。面向事务处理的 *** 作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。

3、相对稳定的。 *** 作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供企业决策分析之用，所涉及的数据 *** 作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询 *** 作，但修改和删除 *** 作很少，通常只需要定期的加载、刷新。

4、反映历史变化。 *** 作型数据库主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。

企业数据仓库的建设，是以现有企业业务系统和大量业务数据的积累为基础。数据仓库不是静态的概念，只有把信息及时交给需要这些信息的使用者，供他们做出改善其业务经营的决策，信息才能发挥作用，信息才有意义。而把信息加以整理归纳和重组，并及时提供给相应的管理决策人员，是数据仓库的根本任务。因此，从产业界的角度看，数据仓库建设是一个工程，是一个过程。

元数据概念范围很广，表中的字段当然也算是元数据。

简要来说，元数据是指描述基本数据结构的对象，也就是说“数据的数据”。这个描述可大可小，小如字段，大如文档，如各种文档（如、excel文档）等，也可认为是元数据。

基于应用，元数据可分成以下的若干种（某些分类例子）。

数据结构：数据集的名称、关系、字段、约束等；

数据部署：数据集的物理位置；

数据流：数据集之间的流程依赖关系（非参照依赖），包括数据集到另一个数据集的规则；

质量度量：数据集上可以计算的度量；

度量逻辑关系：数据集度量之间的逻辑运算关系；

ETL过程：过程运行的顺序，并行、串行；

数据集快照：一个时间点上，数据在所有数据集上的分布情况；

星型模式元数据：事实表、维度、属性、层次等；

报表语义层：报表指标的规则、过滤条件物理名称和业务名称的对应；

数据访问日志：哪些数据何时被何人访问；

质量稽核日志：何时、何度量被稽核，其结果；

数据装载日志：哪些数据何时被何人装载；

这种方式是指简化的级联模式，主要的优点是提供集中管理的扩展端口，对于多交换机之间的转发效率并没有提升，主要是因为菊花链模式是采用高速端口和来实现的。菊花链模式使用堆叠电缆将几台交换机以环路的方式组建成一个堆叠组。但是最后一根从上到下的堆叠电缆只是冗余备份作用，从第一台交换机到最后一台交换机数据包还是要历经中间所有交换机。其效率较低，尤其是在堆叠层数较多时，堆叠端口会成为严重的系统瓶颈，所以建议堆叠层数不要太多。

结构为:上个DOWN连下相UP 最后一个UP连第一个DOWN

以上就是关于浅析数据仓库的构建方法全部的内容，包括:浅析数据仓库的构建方法、请问数据仓库都用什么建立、OLTP与OLAP的区别是什么等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！