五大数据库理念，读懂亚马逊云科技的数据库布局

1970 年，关系型数据库之父 EFCodd 发表《用于大型共享数据库的关系数据模型》论文，正式拉开数据库技术发展序幕。以 Oracle、DB2、SQL Server 为代表的三大商业数据库产品独占鳌头，随后涌现出 MySQL、PostgreSQL 等为代表的开源数据库 ，和以 Amazon RDS 等为代表的云数据库，拉开百花齐放的数据库新序幕。

我们知道，云计算十年为产业转型升级提供了 历史 性契机，但变革仍在进行，随着云计算的普及，数据库市场发生根本性改变，云厂商打破传统商业数据库的堡垒，成为数据库领域全新力量。其中以连续六年入选 Gartner 领导者象限的亚马逊云 科技 为代表，我们一起探讨：为什么亚马逊云 科技 能始终保持其创新性？纵观云原生时代下，亚马逊云 科技 数据库未来还有哪些更多的可能性？

01 面对四大数据库发展趋势，亚马逊云 科技 打造五大数据库理念

后疫情时代下，加速了不少行业的业务在线化和数字化运营，企业对数据价值挖掘的需求越发强烈，亚马逊云 科技 大中华区产品部总经理顾凡详细介绍其中四大趋势：

一是伴随互联网、移动互联网的发展，电商、视频、社交、出行等新应用场景的兴起，不仅数据量大，对数据实时性要求极高，传统关系型数据库无法满足需求，因此驱动云原生数据库的出现。

二是开源数据库的广泛应用。

三是应用程序现代化对数据库提出更高要求，期待数据库拥有更高的性能、可扩展性、可用性以及降低成本，让开发人员专注于核心业务的应用开发，不用关注和核心业务无关的代码。

四是软件架构历经 PC、互联网、移动互联网，再到如今的万物互联时代，其中的迭代和转型正在驱动数据库选型的变化。

在此四大趋势下，伴随企业的业务量越来越大、越来越复杂，对数据库的要求越来越高。亚马逊云 科技 洞察客户需求，在打造云上数据库产品时提出五大理念：

一是专库专用，极致性能；二是无服务器，敏捷创新；第三是全球架构，一键部署；第四是平滑迁移，加速上云；第五是 AI 赋能，深度集成。

02 历经真实锤炼，五大数据库理念，持续赋能企业数智转型

顾凡表示，随着数据爆炸式增长，微服务架构与 DevOps 愈发流行的今天，一个数据库打天下的时代已然过去。我们需要在不同的应用场景下，针对不同的数据类型和不同的数据访问特点，为开发者和企业提供专门构建的工具。

所以亚马逊云 科技 提出 第一个核心数据库理念：专库专用 。在此理念下，推出针对关系数据、键值数据、文档数据、内存数据、图数据、时许数据、分类账数据、宽列等专门构建数据库的产品家族。

这些数据库产品均经历过亚马逊内部核心业务的真实锤炼，成绩斐然：

亚马逊电商当年是 Oracle 的客户之一，随着亚马逊电商的应用重构和业务体量发展，亚马逊电商决定将业务迁移到亚马逊云 科技 里。100 多个团队参与这庞大的迁移工作中，将亚马逊电商采购、目录管理、订单执行、广告、财务系统、钱包、视频流等关键系统全部从 Oracle 迁出来。2019 年，亚马逊将存储近 7500 个Oracle 数据库中的 75 PB 内部数据迁移到多项亚马逊云 科技 的数据库服务中，包括 Amazon DynamoDB、Amazon Aurora、Amazon ElastiCache，于是亚马逊电商成为亚马逊云 科技 在全球的“第一大客户”。

从 Oracle 切换到亚马逊云 科技 后，亚马逊电商节省了 60% 成本，面向消费者端的应用程序延迟降低 40%，数据库管理支出减少 70%。

以被誉为“亚马逊云 科技 历史 上用户数量增速最快的云服务”Amazon Aurora 为例，其拥有科媲美高端商业数据库的速度和可用性，还拥有开源数据库的简单性与成本效益，Amazon Aurora 让客户满足“鱼和熊掌兼得”需求。

据顾凡介绍，Amazon Aurora 可提供 5 倍于标准 MySQL 性能，3 倍于 PostgreSQL 吞吐量。同时提供高可用，可用区（AZ）+1的高可用，Global Databases 可完成跨区域灾备。可扩展到 15 个只读副本，成本只有商业数据库的 1/10。

医药企业九州通为药厂、供应商，搭建药厂、供应商、消费者提供供应链链条。其 B2B 系统的业务特点是读多写少，受促销活动、工作时间等影响，经常会出现波峰波谷落差较大的情况，读写比例在 7：2 或者 8：3。九州通采用 Amazon Aurora 后实现读写分离和按需扩展，整体数据库性能提升 5 倍，TCO 降低 50%。实现了跨可用区部署、负载均衡、自动故障转移、精细监控、按需自动伸缩等。

据权威机构预测，到 2022 年，75% 数据库将被部署或迁移至云平台。在这个过程中，亚马逊云 科技 是如何通过技术来帮助客户加速应用上云的？这离不开除了上述的“专库专用”外，以下四大理念：

第二个理念是无服务器、敏捷创新。 亚马逊云 科技 大中华区产品部数据类产品高级经理王晓野表示，企业业务总有波峰波谷之时，如何按照企业 80-90% 的业务峰值来规划数据库的存储容量和计算资源的话，将给应用带来一定的业务连续性的妥协和挑战。因此大多数企业都是按照峰值留有余地来选择数据库的计算资源，这将造成成本上的浪费。而 Serverless 数据库服务可完成无差别的繁复工作和自动化扩展。

Amazon DynamoDB 是亚马逊云 科技 自研 Serverless 数据库，其诞生最早可追溯到 2004 年，当时亚马逊电商作为 Oracle 的客户，尽管对于关系型数据库在零售场景的需求并不频繁，70% 均是键值类 *** 作，此时倒逼亚马逊电商思考：为什么要把关系型数据库这么重得使用？我们可以设计一款支持读写、可横向扩展的分布式数据库吗？后来的故事大家都知道了，这款数据库就是 Amazon DynamoDB，并在 2007 年发表论文，掀起业界 NoSQL 分布式数据库技术创新大潮。

Amazon DynamoDB 可为大规模应用提供支持，支撑亚马逊自身多个高流量网站和系统，如亚马逊电商网站、亚马逊全球 442 个物流中心等。在亚马逊电商一年一度 Prime Day，光是针对DynamoDB API 的调用达到数万亿次，最高峰值请求达到每秒 8920 万次。由此可见，DynamoDB 拥有高吞吐、扩展性、一致性、可预测响应延迟、高可用等优势。

智能可穿戴设备厂商华米 科技 ，在全球 70 多个国家拥有近 1 亿用户。仅 2020 年上半年，其手表出货量超 174 万台，截止到 2021 年 2 月，华米 科技 的可穿戴设备累计记录步数是 151 万步，累计记录的睡眠时间是 128 亿个夜晚，记录心率总时长达 1208 亿个小时。如此庞大的数据同时必须保证极高的安全性和低延迟相应，如何保证稳定性是巨大的挑战。

DynamoDB 帮助华米 科技 在任何规模下都能提供延迟不超过 10 毫秒的一致响应时间。华米 科技 健康 云的 P0 和 P1 级别故障减少了约 30%，总体服务可用性提升了 025%，系统可用性指标达到 9999%，为华为 科技 全球化扩展提供了有力的支撑。

最新无服务数据库产品是 Amazon Aurora Serverless V2 提供瞬间扩展能力，真正把扩展能力发挥到极致，在不到一秒的时间内，将几百个事务扩展到数十万的级别。同时在扩展时每一次调整的增量都是非常精细化的去管理，如果按照峰值来规划数据库资源，可实现大概90%的成本节省。目前 Amazon Aurora Serverless V2 在全球实现预览。

第三个理念是全球架构、一键部署。 在全球化的今天，如何支撑全球客户的业务扩展连续性、一致性、以最低延迟带给到终端客户上，对数据库提出新的挑战。

亚马逊云 科技 提供 Amazon Aurora 关系型数据库Global Database、Amazon DynamoDB、Amazon ElastiCache 内存数据库、Amazon DocumentDB 文档数据库都能利用亚马逊云 科技 的骨干网络提供比互联网更稳定的网络支撑，以一键部署的方式，帮助客户实现几千公里跨区域数据库灾备，故障恢复大概能在一分钟之内完成，同时跨区域的数据复制延迟通常小于一秒。

第四个理念是平滑迁移、加速上云。 目前，450000+ 数据库通过亚马逊云 科技 数据库迁移服务迁移到亚马逊云 科技 中，这个数字每年都在不断增长。亚马逊云 科技 提供 Amazon DMS、Amazon Database Migration Service 等工具让开发者和企业进行自助式云迁移。另外，对于迁移过程中可能会需要的支持，可通过专业服务团队和合作伙伴网络成员，为客户提供专业支持，还通过 Database Freedom 项目帮助客户降低他们的顾虑。

今年 11 月，最新产品 Babelfish for Amazon Aurora PostgreSQL 在全球和中国两个区域正式可用，可加速企业上云的迁移，实现让企业可以利用原有的技术栈、原有的 SQL Server T-SQL的人员可以利用到云数据库进行创新。

第五个理念是 AI赋能，深度集成。 我们观察到，ML 技术赋能数据库开发者，开发者无需具备机器学习专业知识，就可进行机器学习 *** 作。在此潮流下，亚马逊云 科技 推出 Amazon Neptune，借由 Deep Graph Library 和 Amazon SageMaker 驱动图神经网络。

今年 8 月，Neptune ML 在中国正式可用，允许数据工程师不需要掌握机器学习的技能直接从图数据库里导出数据、转换格式、训练模型并发布，用 gremlin 语句调用训练成的模型在数据库里实现推理，进行欺诈检测，推荐物品。

目前，亚马逊云 科技 加速在中国区域服务落地，2021年至今新发布 60 多个数据库服务与功能。亚马逊云 科技 正是通过上述五大数据库理念，打造丰富的数据库产品家族，在全球智能化发展趋势下，为企业提供更快更好的数智服务，释放数据价值，并连续六年入选 Gartner 领导者象限，得到业界和客户的深度认可。

在大型的企业应用或企业级的数据库应用中 要处理的数据量通常可以达到几十到几百GB 有的甚至可以到TB级 虽然存储介质和数据处理技术的发展也很快 但是仍然不能满足用户的需求 为了使用户的大量的数据在读写 *** 作和查询中速度更快 Oracle提供了对表和索引进行分区的技术 以改善大型应用系统的性能

使用分区的优点

·增强可用性 如果表的某个分区出现故障 表在其他分区的数据仍然可用

·维护方便 如果表的某个分区出现故障 需要修复数据 只修复该分区即可

·均衡I/O 可以把不同的分区映射到磁盘以平衡I/O 改善整个系统性能

·改善查询性能 对分区对象的查询可以仅搜索自己关心的分区 提高检索速度

Oracle数据库提供对表或索引的分区方法有三种

·范围分区

·Hash分区（散列分区）

·复合分区

下面将以实例的方式分别对这三种分区方法来说明分区表的使用 为了测试方便 我们先建三个表空间

以下为引用的内容

create tablespace dinya_space

datafile /test/demo/oracle/demodata/dinya dnf size M

create tablespace dinya_space

datafile /test/demo/oracle/demodata/dinya dnf size M

create tablespace dinya_space

datafile /test/demo/oracle/demodata/dinya dnf size M

分区表的创建

范围分区

范围分区就是对数据表中的某个值的范围进行分区 根据某个值的范围 决定将该数据存储在哪个分区上 如根据序号分区 根据业务记录的创建日期进行分区等

需求描述 有一个物料交易表 表名 material_transactions 该表将来可能有千万级的数据记录数 要求在建该表的时候使用分区表 这时候我们可以使用序号分区三个区 每个区中预计存储三千万的数据 也可以使用日期分区 如每五年的数据存储在一个分区上

根据交易记录的序号分区建表 以下为引用的内容

SQL> create table dinya_test

(

transaction_id number primary key

item_id number( ) not null

item_description varchar ( )

transaction_date date not null

)

partition by range (transaction_id)

(

partition part_ values less than( ) tablespace dinya_space

partition part_ values less than( ) tablespace dinya_space

partition part_ values less than(maxvalue) tablespace dinya_space

);

Table created

建表成功 根据交易的序号 交易ID在三千万以下的记录将存储在第一个表空间dinya_space 中 分区名为:par_ 在三千万到六千万之间的记录存储在第二个表空间

dinya_space 中 分区名为 par_ 而交易ID在六千万以上的记录存储在第三个表空间dinya_space 中 分区名为par_

根据交易日期分区建表

以下为引用的内容

SQL> create table dinya_test

(

transaction_id number primary key

item_id number( ) not null

item_description varchar ( )

transaction_date date not null

)

partition by range (transaction_date)

(

partition part_ values less than(to_date( yyyy mm dd ))

tablespace dinya_space

partition part_ values less than(to_date( yyyy mm dd ))

tablespace dinya_space

partition part_ values less than(maxvalue) tablespace dinya_space

);

Table created

这样我们就分别建了以交易序号和交易日期来分区的分区表 每次插入数据的时候 系统将根据指定的字段的值来自动将记录存储到制定的分区（表空间）中

当然 我们还可以根据需求 使用两个字段的范围分布来分区 如partition

by range ( transaction_id transaction_date)

分区条件中的值也做相应的改变 请读者自行测试

Hash分区（散列分区）

散列分区为通过指定分区编号来均匀分布数据的一种分区类型 因为通过在I/O设备上进行散列分区 使得这些分区大小一致 如将物料交易表的数据根据交易ID散列地存放在指定的三个表空间中

以下为引用的内容

SQL> create table dinya_test

(

transaction_id number primary key

item_id number( ) not null

item_description varchar ( )

transaction_date date

)

partition by hash(transaction_id)

(

partition part_ tablespace dinya_space

partition part_ tablespace dinya_space

partition part_ tablespace dinya_space

);

Table created

建表成功 此时插入数据 系统将按transaction_id将记录散列地插入三个分区中 这里也就是三个不同的表空间中

复合分区

有时候我们需要根据范围分区后 每个分区内的数据再散列地分布在几个表空间中 这样我们就要使用复合分区 复合分区是先使用范围分区 然后在每个分区内再使用散列分区的一种分区方法 如将物料交易的记录按时间分区 然后每个分区中的数据分三个子分区 将数据散列地存储在三个指定的表空间中

以下为引用的内容

SQL> create table dinya_test

(

transaction_id number primary key

item_id number( ) not null

item_description varchar ( )

transaction_date date

)

partition by range(transaction_date)subpartition by hash(transaction_id)

subpartitions store in (dinya_space dinya_space dinya_space )

(

partition part_ values less than(to_date( yyyy mm dd ))

partition part_ values less than(to_date( yyyy mm dd ))

partition part_ values less than(maxvalue)

);

Table created

该例中 先是根据交易日期进行范围分区 然后根据交易的ID将记录散列地存储在三个表空间中

分区表 *** 作

以上了解了三种分区表的建表方法 下面将使用实际的数据并针对按日期的范围分区来测试分区表的数据记录的 *** 作

插入记录

以下为引用的内容

SQL> insert into dinya_test values( BOOKS sysdate);

row created

SQL> insert into dinya_test values( BOOKS sysdate+ );

row created

SQL> insert into dinya_test values( BOOKS to_date( yyyy mm dd ));

row created

SQL> insert into dinya_test values( BOOKS to_date( yyyy mm dd ));

row created

SQL> insert into dinya_test values( BOOKS to_date( yyyy mm dd ));

row created

SQL> insert into dinya_test values( BOOKS to_date( yyyy mm dd ));

row created

SQL> mit;

Commit plete

SQL>

按上面的建表结果 年前的数据将存储在第一个分区part_ 上 而 年到 年的交易数据将存储在第二个分区part_ 上 年以后的记录存储在第三个分区part_ 上

查询分区表记录 以下为引用的内容

SQL> select from dinya_test partition(part_ );

TRANSACTION_ID ITEM_ID ITEM_DESCRIPTION TRANSACTION_DATE

BOOKS : :

BOOKS : :

SQL>

SQL> select from dinya_test partition(part_ );

TRANSACTION_ID ITEM_ID ITEM_DESCRIPTION TRANSACTION_DATE

BOOKS

BOOKS

SQL>

SQL> select from dinya_test partition(part_ );

TRANSACTION_ID ITEM_ID ITEM_DESCRIPTION TRANSACTION_DATE

BOOKS

BOOKS

SQL>

从查询的结果可以看出 插入的数据已经根据交易时间范围存储在不同的分区中 这里是指定了分区的查询 当然也可以不指定分区 直接执行select from dinya_test查询全部记录

在也检索的数据量很大的时候 指定分区会大大提高检索速度

更新分区表的记录

以下为引用的内容

SQL> update dinya_test partition(part_ ) t set em_description= DESK where

t transaction_id= ;

row updated

SQL> mit;

Commit plete

SQL>

这里将第一个分区中的交易ID= 的记录中的item_description字段更新为 DESK 可以看到已经成功更新了一条记录 但是当更新的时候指定了分区 而根据查询的记录不在该分区中时 将不会更新数据 请看下面的例子 以下为引用的内容

SQL> update dinya_test partition(part_ ) t set em_description= DESK where

t transaction_id= ;

rows updated

SQL> mit;

Commit plete

SQL>

指定了在第一个分区中更新记录 但是条件中限制交易ID为 而查询全表 交易ID为 的记录在第三个分区中 这样该条语句将不会更新记录

删除分区表记录

以下为引用的内容

SQL> delete from dinya_test partition(part_ ) t where t transaction_id= ;

row deleted

SQL> mit;

Commit plete

SQL>

上面例子删除了第二个分区part_ 中的交易记录ID为 的一条记录 和更新数据相同 如果指定了分区 而条件中的数据又不在该分区中时 将不会删除任何数据

分区表索引的使用

分区表和一般表一样可以建立索引 分区表可以创建局部索引和全局索引 当分区中出现许多事务并且要保证所有分区中的数据记录的唯一性时采用全局索引

局部索引分区的建立

以下为引用的内容

SQL> create index dinya_idx_t on dinya_test(item_id)

local

(

partition idx_ tablespace dinya_space

partition idx_ tablespace dinya_space

partition idx_ tablespace dinya_space

);

Index created

SQL>

看查询的执行计划 从下面的执行计划可以看出 系统已经使用了索引

以下为引用的内容

SQL> select from dinya_test partition(part_ ) t where em_id= ;

Execution Plan

SELECT STATEMENT Optimizer=CHOOSE (Cost= Card= Bytes= )

TABLE ACCESS (BY LOCAL INDEX ROWID) OF DINYA_TEST (Cost=

Card= Bytes= )

INDEX (RANGE SCAN) OF DINYA_IDX_T (NON UNIQUE) (Cost=

Card= )

Statistics

recursive calls

db block gets

consistent gets

physical reads

redo size

bytes sent via SQLNet to client

bytes received via SQLNet from client

SQLNet roundtrips to/from client

sorts (memory)

sorts (disk)

rows processed

SQL>

全局索引分区的建立

全局索引建立时global 子句允许指定索引的范围值 这个范围值为索引字段的范围值

以下为引用的内容

SQL> create index dinya_idx_t on dinya_test(item_id)

global partition by range(item_id)

(

partition idx_ values less than ( ) tablespace dinya_space

partition idx_ values less than ( ) tablespace dinya_space

partition idx_ values less than (maxvalue) tablespace dinya_space

);

Index created

SQL>

本例中对表的item_id字段建立索引分区 当然也可以不指定索引分区名直接对整个表建立索引 如

以下为引用的内容

SQL> create index dinya_idx_t on dinya_test(item_id);

Index created

SQL>

同样的 对全局索引根据执行计划可以看出索引已经可以使用

以下为引用的内容

SQL> select from dinya_test t where em_id= ;

Execution Plan

SELECT STATEMENT Optimizer=CHOOSE (Cost= Card= Bytes= )

TABLE ACCESS (BY GLOBAL INDEX ROWID) OF DINYA_TEST (Cost

= Card= Bytes= )

INDEX (RANGE SCAN) OF DINYA_IDX_T (NON UNIQUE) (Cost=

Card= )

Statistics

recursive calls

db block gets

consistent gets

physical reads

redo size

bytes sent via SQLNet to client

bytes received via SQLNet from client

SQLNet roundtrips to/from client

sorts (memory)

sorts (disk)

rows processed

SQL>

分区表的维护

了解了分区表的建立 索引的建立 表和索引的使用后 在应用的还要经常对分区进行维护和管理 日常维护和管理的内容包括 增加一个分区 合并一个分区及删除分区等等 下面以范围分区为例说明增加 合并 删除分区的一般 *** 作

增加一个分区:

以下为引用的内容

SQL> alter table dinya_test

add partition part_ values less than(to_date( yyyy mm dd ))

tablespace dinya_spa

ce ;

Table altered

SQL>

增加一个分区的时候 增加的分区的条件必须大于现有分区的最大值 否则系统将提示ORA partition bound must collate higher than that of the last partition 错误

合并一个分区

以下为引用的内容

SQL> alter table dinya_test merge partitions part_ part_ into partition part_ ;

Table altered

SQL>

在本例中将原有的表的part_ 分区和part_ 分区进行了合并 合并后的分区为part_ 如果在合并的时候把合并后的分区定为part_ 的时候 系统将提示ORA cannot reuse lower bound partition as resulting partition 错误

删除分区

以下为引用的内容

SQL> alter table dinya_test drop partition part_ ;

Table altered

SQL>

删除分区表的一个分区后 查询该表的数据时显示 该分区中的数据已全部丢失 所以执行删除分区动作时要慎重 确保先备份数据后再执行 或将分区合并

总结

lishixinzhi/Article/program/Oracle/201311/17329

SQL Server本身就是一个完善的数据库，提供可视化编程，后台完成所有拖放处理 *** 作，不管有没有数据都可以使用，不需要编译。

一个比较合理的数据库设计应该考虑数据的交互性和挖掘能力、处理效率以及日志记录。

建立数据表，注意以下几点：

表建立的时候要有主键和索引，表与表之间要能使用主键相联系，举例说在A表里我做完一次记录要生成一个单号，B表里面是依据单号来做下一个流程，而不是依据记录的每一条数据

取名尽量使用英文+下划线，SQL Server里对汉字需要转码，影响工作效率，按照他的默认编码方式 *** 作有助于提高数据处理速度

建立数据表的列数不要太多，用编码规则来建立逻辑

注意字段存储空间，限制字段长度，少用注释和image

存储过程尽量简洁实用

建立视图，为了别的客户端使用，尽量建立视图，做好完整的数据分析，别的接口程序或者客户端直接就可以拿去使用。做视图注意几点：

多个表 *** 作写在一个视图里，不要嵌套太多视图

连接查询要适当的筛选

跨服务器 *** 作视图，要建立服务器链接表，尽量使用内网链接，把服务器链接表做成查询视图，放在本地服务器数据库里，这样就等同本地 *** 作

视图之间保留连接字段作为主要索引

建立计划作业，有计划地进行数据同步更新和备份标识工作，注意事项：

备份数据尽量放数据库里同步复制

计划任务避开工作高峰期

建立存储过程，记录 *** 作日志，把日志以数据表的形式存储，注意事项：

存储过程对本表 *** 作，不要交互太多表

精简参数数量，注意参数存储空间

对记录修改删除、更新标记的时候尽量使用时间来索引

建立关系图，给表与表之间建立直接关系，整理整体挖掘数据性能。

建立计划更新任务，优化数据库整体性能。

一、你可以把数据库连接放在一个类中，然后再调用那个类中的数据库连接的那个函数就可以了。

二、也可以把数据库连接放在一个类库中，编译数据库连接的那个类库，然后打开类库所在的文件夹的根目录，再打开bin文件夹中的子文件夹Debug，复制那个以dll为扩展名的文件粘贴在你的网站项目bin文件夹里。

三、在Globalasax文件的顶部添加以下代码就可以在文件中进行相关的代码编写。

<%@ Import Namespace="SystemData" %>

<%@ Import Namespace="SystemDataSqlClient" %>

以上就是关于五大数据库理念，读懂亚马逊云科技的数据库布局全部的内容，包括:五大数据库理念，读懂亚马逊云科技的数据库布局、Oracle数据库分区表 *** 作方法、如何构建一个完善的数据库,如何来处理表与表关系.等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！