7.阿里大数据——大数据建模

数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。

适合业务和基础数据存储环境的模型，大数据能获得以下好处：

大数据系统需要数据模型方法来帮助更好的组织和存储数据，以便在性能、成本、效率和质量之间取得最佳平衡。

不管是Hadoop、Spark还是阿里巴巴集团的MaxCompute系统，仍然在大规模使用SQL进行数据的加工和处理，仍然在用Table存储数据，仍然在使用关系理论描述数据之间的关系，只是在大数据领域，基于其数据存取的特点在关系数据模型的范式上有了不同的选择而已。

从全企业的高度设计一个3NF模型，用实体关系（Entity Relationship，ER）模型描述企业业务，在范式理论上符合3NF。数据仓库中的3NF与OLTP中不同过，有以下特点：

ER模型建设数据仓库的出发点是整合数据，为数据分析决策服务。建模步骤分为三个阶段：

维度建模从分析决策的需求出发构建模型，为分析需求服务，因此它重点关注用户如何更快速地完成需求分析，同时具有较好的大规模复杂查询的响应性能。其典型代表事星形模型，以及在一些特殊场景下使用的雪花模型。其设计步骤如下：

它是ER模型的衍生，其设计的出发点也是为了实现数据的整合，但不能直接用于数据分析决策。它强调建立一个可审计的基础数据层，也就是强调数据的历史性、可追溯性和原子性，而不要求对数据进行过度的一致性处理和整合。该模型由一下几部分组成：

Anchor对Data Vault模型做了进一步规范化处理，设计的初衷是一个高度可扩展的模型，其核心思想是所有的扩展只是添加而不是修改，因此将模型规范到6NF，基本变成了k-v结构化模型。组成如下：

经历了多个阶段：

数据库建立过程包括六个主要步骤：

1．需求分析：了解用户的数据需求、处理需求、安全和完整性需求。

2．概念设计：通过数据抽象，设计系统的概念模型，一般为e－r模型。

3．逻辑结构设计：设计系统的模式和外部模式，特别是关系模型的基本表和视图。

4．物理结构设计：设计数据的存储结构和访问方法，如索引的设计。

5．系统实现：组织数据存储，编写应用程序，试运行。

6．运维：系统投入运行，进行长期维护。

扩展资料：

数据库设计技巧：

1．原始文档与实体之间的关系

它可以是一对一、一对多、多对多。一般来说，它们是一对一的关系：也就是说，原始文档只对应于一个实体，而且只对应于一个实体。在特殊情况下，它们可能是一对多或多对一的，其中一个原始文档对应多个实体，或者多个原始文档对应一个实体。

这里的实体可以理解为基本表。在明确了这些对应关系之后，这对于输入接口的设计是非常有益的。

2．主键和外键

通常，实体不能同时没有主键和外键。在e－r关系图中，叶中的实体可以定义主键，也可以不定义主键（因为它没有后代），但是它必须有外键（因为它有父键）。

主键和外键的设计在全局数据库的设计中起着重要的作用。当全球数据库的设计完成后，一位美国的数据库设计专家说：“钥匙，钥匙无处不在，只有钥匙”，这是他的数据库设计经验，也是他高度抽象的信息系统核心思想（数据模型）的体现。

因为：主键是实体的高度抽象，主键和外键对，表示实体之间的连接。

3．基本表的属性

基表不同于中间表和临时表，因为它有以下四个特点：

原子性。基表中的字段没有分解。

原始性。基表中的记录是原始数据（底层数据）的记录。

先验性。所有输出数据都可以从基表和代码表中的数据派生出来。

稳定。表的基本结构比较稳定，表中的记录保存时间较长。

一旦理解了基本表的性质，就可以在设计数据库时将它们与中间表和临时表区分开。

一、人工管理阶段：

数据的管理者：人。

数据面向的对象：某一应用程序。

数据的共享程度：无共享，冗余度极大。

数据的独立性：不独立，完全依赖于程序。

数据的结构化：无结构。

数据控制能力：应用程序自己控制。

二、文件系统阶段：

数据的管理者：文件系统。

数据面向的对象：某一应用程序。

数据的共享程度：共享性差，冗余度大。

数据的独立性：独立性差。

数据的结构化：记录内有结构，整体无结构。

数据控制能力：应用程序自己控制。

数据管理的定义

数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程。其目的在于充分有效地发挥数据的作用。实现数据有效管理的关键是数据组织。

随着计算机技术的发展，数据管理经历了人工管理、文件系统、数据库系统三个发展阶段。在数据库系统中所建立的数据结构，更充分地描述了数据间的内在联系，便于数据修改、更新与扩充，同时保证了数据的独立性、可靠、安全性与完整性，减少了数据冗余，故提高了数据共享程度及数据管理效率。

以上就是关于7.阿里大数据——大数据建模全部的内容，包括:7.阿里大数据——大数据建模、简述一个数据库应用系统的建立过程、计算机化的数据库管理经历了哪几个阶段!各有什么特点等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！