数据库:什么是BI,ETL和OLAP(数据仓库和etl的区别)

ETLETL即数据抽取（Extract）、转换（Transform）、装载（Load）的过程

它是构建数据仓库的重要环节

数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程

数据仓库系统中有可能存在着大量的噪声数据,引起的主要原因有：滥用缩写词、惯用语、数据输入错误、重复记录、丢失值、拼写变化等

即便是一个设计和规划良好的数据库系统，如果其中存在着大量的噪声数据，那么这个系统也是没有任何意义的，因为“垃圾进，垃圾出”（garbagein,garbageout），系统根本就不可能为决策分析系统提供任何支持

为了清除噪声数据，必须在数据库系统中进行数据清洗

目前有不少数据清洗研究和ETL研究，但是如何在ETL过程中进行有效的数据清洗并使这个过程可视化，此方面研究不多

联机事务处理OLTP联机分析处理(OLAP)的概念最早是由关系数据库之父E

F

Codd于1993年提出的，他同时提出了关于OLAP的12条准则

OLAP的提出引起了很大的反响，OLAP作为一类产品同联机事务处理(OLTP)明显区分开来

当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-linetransactionprocessing）、联机分析处理OLAP（On-LineAnalyticalProcessing）

OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易

OLAP是数据仓库系统的主要应用，支持复杂的分析 *** 作，侧重决策支持，并且提供直观易懂的查询结果

OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术

数据仓库：为企业所有级别的决策制定过程，提供所有类型数据支持的战略(数据)集合。

大数据：所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

传统数据库：一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。

其实从三个定义，我们好像区别不大。

数据库指的是数据的集合，数据仓库也是一个数据集合，大数据也是一个处理和存储数据的地方。

但是不同的是，在于应用场景，和构建的技术原理不一样。

传统数据库是存储根据范式建模的关系型数据，主要用于OLTP（on-line transaction processing）翻译为联机事务处理的软件。大数据是根据map redurce范式构建的出局处理，存储的软件，主要用于OLAP是做分析处理。大数据和传统数据库，还有一个更大的区别在于，处理的数据量以及计算量的大小，当传统数据库，无法在人可以接受的短时间内计算出结果，那这个数据就叫大数据，需要使用到大数据技术处理。而数据仓库本质上是一种数据的处理方式，而不是一种基础软件，它可以依赖于传统数据库，也可以依赖大数据技术去构建。

可以参考这篇文章：数据仓库(2)数据仓库、大数据与传统数据库的区别 - 知乎 (zhihucom)

OLTP(on-linetransactionprocessing)翻译为联机事务处理。OLAP(On-LineAnalyticalProcessing)翻译为联机分析处理。

OLTP主要用来记录某类业务事件的发生，如购买行为，当行为产生后，系统会记录是谁在何时何地做了何事，这样的一行（或多行）数据会以增删改的方式在数据库中进行数据的更新处理 *** 作，要求实时性高、稳定性强、确保数据及时更新成功，像公司常见的业务系统如ERP，CRM，OA等系统都属于OLTP。

当数据积累到一定的程度，我们需要对过去发生的事情做一个总结分析时，就需要把过去一段时间内产生的数据拿出来进行统计分析，从中获取我们想要的信息，为公司做决策提供支持，这时候就是在做OLAP了。

因为OLTP所产生的业务数据分散在不同的业务系统中，而OLAP往往需要将不同的业务数据集中到一起进行统一综合的分析，这时候就需要根据业务分析需求做对应的数据清洗后存储在数据仓库中，然后由数据仓库来统一提供OLAP分析。所以我们常说OLTP是数据库的应用，OLAP是数据仓库的应用，下面用一张图来简要对比。

以上就是关于数据库:什么是BI,ETL和OLAP(数据仓库和etl的区别)全部的内容，包括:数据库:什么是BI,ETL和OLAP(数据仓库和etl的区别)、详解数据仓库和数据库的区别、OLTP和OLAP的区别是什么等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！