大数据计算服务(MaxCompute,原ODPS)
Data IDE(原BASE)
数据集成(原CDP云道)
大数据基础服务包括 Maxcompute 分析型数据库等
大数据分析于展现包括 Date V Quick BI 画像分析等
大数据应用 包括 推荐引擎 企业图谱
阿里云大数据专业认证(ACP级-Alibaba Cloud Certified Professional)介绍
阿里云大数据专业认证(ACP级-Alibaba Cloud Certification Professional)是面向使用阿里云大数据产品的架构、开发、运维类人员的专业技术认证,主要涉及阿里云大数据类的几款核心产品,包括大数据计算服务(MaxCompute,原ODPS)、Data IDE(原BASE)、数据集成(原CDP云道)等。通过该技术认证可以有效证明该认证人员具备以下能力:
具备大数据的存储、处理以及分析的基础知识
能够根据企业的业务需求,基于阿里云的产品制定有效的技术解决方案和企业最佳实践
能够熟练的使用阿里云的大数据计算服务、Data IDE以及数据集成等产品
能够诊断基于阿里云大数据产品构建的业务系统在运行中出现的常见问题并找到相应的解决方案
数据模型就是数据组织和存储方法,它强调从业务、数据存取和使用角度合理存储数据。适合业务和基础数据存储环境的模型,大数据能获得以下好处:
大数据系统需要数据模型方法来帮助更好的组织和存储数据,以便在性能、成本、效率和质量之间取得最佳平衡。
不管是Hadoop、Spark还是阿里巴巴集团的MaxCompute系统,仍然在大规模使用SQL进行数据的加工和处理,仍然在用Table存储数据,仍然在使用关系理论描述数据之间的关系,只是在大数据领域,基于其数据存取的特点在关系数据模型的范式上有了不同的选择而已。
从全企业的高度设计一个3NF模型,用实体关系(Entity Relationship,ER)模型描述企业业务,在范式理论上符合3NF。数据仓库中的3NF与OLTP中不同过,有以下特点:
ER模型建设数据仓库的出发点是整合数据,为数据分析决策服务。建模步骤分为三个阶段:
维度建模从分析决策的需求出发构建模型,为分析需求服务,因此它重点关注用户如何更快速地完成需求分析,同时具有较好的大规模复杂查询的响应性能。其典型代表事星形模型,以及在一些特殊场景下使用的雪花模型。其设计步骤如下:
它是ER模型的衍生,其设计的出发点也是为了实现数据的整合,但不能直接用于数据分析决策。它强调建立一个可审计的基础数据层,也就是强调数据的历史性、可追溯性和原子性,而不要求对数据进行过度的一致性处理和整合。该模型由一下几部分组成:
Anchor对Data Vault模型做了进一步规范化处理,设计的初衷是一个高度可扩展的模型,其核心思想是所有的扩展只是添加而不是修改,因此将模型规范到6NF,基本变成了k-v结构化模型。组成如下:
经历了多个阶段:
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)