数据仓库的特点

数据仓库的特点是面向主题、集成、稳定、反映历史变化。

数据仓库作为现代化的产物，其特点有面向主题， *** 作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据按照一定的主题域进行组织。主题是一个抽象概念，是指用户使用数据仓库进行决策时所关心的重点方面。

并且它是集成的，面向事务处理的 *** 作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的。

必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。同时它也是稳定的， *** 作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供企业决策分析之用，所涉及的数据 *** 作主要是数据查询。

一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询 *** 作，但修改和删除 *** 作很少，通常只需要定期的加载、刷新。而且它可以反映历史变化， *** 作型数据库主要关心当前某一个时间段内的数据。

但是数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点如开始应用数据仓库的时点到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。

数据仓库

数据仓库，简称DW，是为给企业所有级别的决策制定过程，提供所有类型数据支持的战略集合，被认为是商业智能的核心组件。

ODS—— *** 作性数据。ODS全称为Operational Data Store，是用来存储多个数据源业务数据的系统，其数据用来支持业务流程或者输入到数据仓库中进行分析。

主要用于业务支撑。一个公司往往会使用并维护若干个数据库，这些数据库保存着公司的日常 *** 作数据，比如商品购买、酒店预订、学生成绩录入等。

*** 作型数据库中自然也有汇总需求，但汇总数据本身不存储而只存储其生成公式。这是因为 *** 作型数据是动态变化的，因此汇总数据会在每次查询时动态生成。。 *** 作型数据通常反映的是现实世界的当前状态

而对于分析型数据库来说，因为汇总数据比较稳定不会发生改变，而且其计算量也比较大（因为时间跨度大），因此它的汇总数据可考虑事先计算好，以避免重复计算。  *** 作型数据库的使用者是业务环境内的各个角色，如用户，商家，进货商等。

Data warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-line Analytical Processing），支持复杂的分析 *** 作，侧重决策支持，听且提供直观易懂的查询结果。比较流行的有：AWS Redshift，Greenplum，Hive等。

1.2主要特点

面向主题：

*** 作型数据库组织面向事务处理任务，而数据仓库中的数据是按照一定的主题域进行组织。

主题是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通过与多个 *** 作型信息系统相关。

集成

需要对源数据进行加工与融合，统一与综合

在加工的过程中必须消除源数据的不一致性，以保证数据仓库内的信息时关于整个企业的一致的全局信息。（关联关系）

不可修改

DW中的数据并不是最新的，而是来源于其他数据源

数据仓库主要是为决策分析提供数据，涉及的 *** 作主要是数据的查询

与时间相关

处于决策的需要数据仓库中的数据都需要标明时间属性

1.3与数据库的对比

DW：专门为数据分析设计的，涉及读取大量数据以了解数据之间的关系和趋势

数据库：用于捕获和存储数据

特性 数据仓库 事务数据库

适合的工作负载 分析、报告、大数据 事务处理

数据源 从多个来源收集和标准化的数据 从单个来源（例如事务系统）捕获的数据

数据捕获 批量写入 *** 作通过按照预定的批处理计划执行 针对连续写入 *** 作进行了优化，因为新数据能够最大程度地提高事务吞吐量

数据标准化 非标准化schema，例如星型Schema或雪花型schema 高度标准化的静态schema

数据存储 使用列式存储进行了优化，可实现轻松访问和高速查询性能 针对在单行型物理块中执行高吞吐量写入 *** 作进行了优化

数据访问 为最小化I/O并最大化数据吞吐量进行了优化 大量小型读取 *** 作

2.数据分层

数据分层，每个企业根据自己的业务需求可以分成不同的层次，但是最基础的分层思想，理论上数据分为三个层：数据运营层、数据仓库层、数据服务层。基于这个基础分层之上，再提交信息的层次，来满足不同的业务需求。

2.1数据运营层（ODS）

ODS：Operation Data Store 数据准备区，也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份，这称为ODS层，是后续数据仓库加工数据的来源。

ODS层数据的来源方式：

业务库

经常会使用sqoop来抽取，例如每天定时抽取一次。

实时方面，可以考虑用canal监听mysql的binlog，实时接入即可。

埋点日志

日志一般以文件的形式保存，可以选择用flume定时同步

可以用spark streaming或者Flink来实时接入

kafka也OK

消息队列：即来自ActiveMQ、Kafka的数据等。

2.2数据仓库层（DW）

DW数据分层，由下到上为DWD，DWB，DWS。

DWD：data warehouse details 细节数据层，是业务层与数据仓库的隔离层。主要对ODS数据层做一些数据清洗和规范化的 *** 作。

数据清洗：去除空值、脏数据、超过极限范围的

DWB：data warehouse base 数据基础层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。

DWS：data warehouse service 数据服务层，基于DWB上的基础数据，整合汇总成分析某一个主题域的服务数据层，一般是宽表。用于提供后续的业务查询，OLAP分析，数据分发等。

用户行为，轻度聚合

主要对ODS/DWD层数据做一些轻度的汇总。

2.3数据服务层/应用层（ADS）

ADS：applicationData Service应用数据服务，该层主要是提供数据产品和数据分析使用的数据，一般会存储在ES、mysql等系统中供线上系统使用。

我们通过说的报表数据，或者说那种大宽表，一般就放在这里

---