数据库架构选型与落地，看这篇就够了

随着时间和业务的发展，数据库中的数据量增长是不可控的，库和表中的数据会越来越大，随之带来的是更高的 磁盘 、 IO 、 系统开销 ，甚至 性能 上的瓶颈，而单台服务器的 资源终究是有限 的。

因此在面对业务扩张过程中，应用程序对数据库系统的 健壮性 ， 安全性 ， 扩展性 提出了更高的要求。

以下，我从数据库架构、选型与落地来让大家入门。

数据库会面临什么样的挑战呢？

业务刚开始我们只用单机数据库就够了，但随着业务增长，数据规模和用户规模上升，这个时候数据库会面临IO瓶颈、存储瓶颈、可用性、安全性问题。

为了解决上述的各种问题，数据库衍生了出不同的架构来解决不同的场景需求。

将数据库的写 *** 作和读 *** 作分离，主库接收写请求，使用多个从库副本负责读请求，从库和主库同步更新数据保持数据一致性，从库可以水平扩展，用于面对读请求的增加。

这个模式也就是常说的读写分离，针对的是小规模数据，而且存在大量读 *** 作的场景。

因为主从的数据是相同的，一旦主库宕机的时候，从库可以 切换为主库提供写入 ，所以这个架构也可以提高数据库系统的 安全性 和 可用性 ；

优点：

缺点：

在数据库遇到 IO瓶颈 过程中，如果IO集中在某一块的业务中，这个时候可以考虑的就是垂直分库，将热点业务拆分出去，避免由 热点业务 的 密集IO请求 影响了其他正常业务，所以垂直分库也叫 业务分库 。

优点：

缺点：

在数据库遇到存储瓶颈的时候，由于数据量过大造成索引性能下降。

这个时候可以考虑将数据做水平拆分，针对数据量巨大的单张表，按照某种规则，切分到多张表里面去。

但是这些表还是在同一个库中，所以库级别的数据库 *** 作还是有IO瓶颈（单个服务器的IO有上限）。

所以水平分表主要还是针对 数据量较大 ，整体业务 请求量较低 的场景。

优点：

缺点：

四、分库分表

在数据库遇到存储瓶颈和IO瓶颈的时候，数据量过大造成索引性能下降，加上同一时间需要处理大规模的业务请求，这个时候单库的IO上限会限制处理效率。

所以需要将单张表的数据切分到多个服务器上去，每个服务器具有相应的库与表，只是表中数据集合不同。

分库分表能够有效地缓解单机和单库的 性能瓶颈和压力 ，突破IO、连接数、硬件资源等的瓶颈。

优点：

缺点：

注：分库还是分表核心关键是有没有IO瓶颈 。

分片方式都有什么呢？

RANGE（范围分片）

将业务表中的某个 关键字段排序 后，按照顺序从0到10000一个表，10001到20000一个表。最常见的就是 按照时间切分 （月表、年表）。

比如将6个月前，甚至一年前的数据切出去放到另外的一张表，因为随着时间流逝，这些表的数据被查询的概率变小，银行的交易记录多数是采用这种方式。

优点：

缺点：

HASH（哈希分片）

将订单作为主表，然后将其相关的业务表作为附表，取用户id然后 hash取模 ，分配到不同的数据表或者数据库上。

优点：

缺点：

讲到这里，我们已经知道数据库有哪些架构，解决的是哪些问题，因此， 我们在日常设计中需要根据数据的特点，数据的倾向性，数据的安全性等来选择不同的架构 。

那么，我们应该如何选择数据库架构呢？

虽然把上面的架构全部组合在一起可以形成一个强大的高可用，高负载的数据库系统，但是架构选择合适才是最重要的。

混合架构虽然能够解决所有的场景的问题，但是也会面临更多的挑战，你以为的完美架构，背后其实有着更多的坑。

1、对事务支持

分库分表后（无论是垂直还是水平拆分），就成了分布式事务了，如果依赖数据库本身的分布式事务管理功能去执行事务，将付出高昂的性能代价（XA事务）；如果由应用程序去协助控制，形成程序逻辑上的事务，又会造成编程方面的负担（TCC、SAGA）。

2、多库结果集合并 （group by，order by）

由于数据分布于不同的数据库中，无法直接对其做分页、分组、排序等 *** 作，一般应对这种多库结果集合并的查询业务都需要采用数据清洗、同步等其他手段处理（TIDB、KUDU等）。

3、数据延迟

主从架构下的多副本机制和水平分库后的聚合库都会存在主数据和副本数据之间的延迟问题。

4、跨库join

分库分表后表之间的关联 *** 作将受到限制，我们无法join位于不同分库的表（垂直），也无法join分表粒度不同的表（水平）， 结果原本一次查询就能够完成的业务，可能需要多次查询才能完成。

5、分片扩容

水平分片之后，一旦需要做扩容时。需要将对应的数据做一次迁移，成本代价都极高的。

6、ID生成

分库分表后由于数据库独立，原有的基于数据库自增ID将无法再使用，这个时候需要采用其他外部的ID生成方案。

一、应用层依赖类（JDBC）

这类分库分表中间件的特点就是和应用强耦合，需要应用显示依赖相应的jar包（以Java为例），比如知名的TDDL、当当开源的 sharding-jdbc 、蘑菇街的TSharding等。

此类中间件的基本思路就是重新实现JDBC的API，通过重新实现 DataSource 、 PrepareStatement 等 *** 作数据库的接口，让应用层在 基本 不改变业务代码的情况下透明地实现分库分表的能力。

中间件给上层应用提供熟悉的JDBC API，内部通过 sql解析 、 sql重写 、 sql路由 等一系列的准备工作获取真正可执行的sql，然后底层再按照传统的方法（比如数据库连接池）获取物理连接来执行sql，最后把数据 结果合并 处理成ResultSet返回给应用层。

优点

缺点

二、中间层代理类（Proxy）

这类分库分表中间件的核心原理是在应用和数据库的连接之间搭起一个 代理层 ，上层应用以 标准的MySQL协议 来连接代理层，然后代理层负责 转发请求 到底层的MySQL物理实例，这种方式对应用只有一个要求，就是只要用MySQL协议来通信即可。

所以用MySQL Navicat这种纯的客户端都可以直接连接你的分布式数据库，自然也天然 支持所有的编程语言 。

在技术实现上除了和应用层依赖类中间件基本相似外，代理类的分库分表产品必须实现标准的MySQL协议，某种意义上讲数据库代理层转发的就是MySQL协议请求，就像Nginx转发的是>

数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，它产生于距今五十年前，随着信息技术和市场的发展，特别是二十世纪九十年代以后，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式。数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。基本结构数据库的基本结构分三个层次，反映了观察数据库的三种不同角度。

(1)物理数据层。

它是数据库的最内层，是物理存贮设备上实际存储的数据的集合。这些数据是原始数据，是用户加工的对象，由内部模式描述的指令 *** 作处理的位串、字符和字组成。

(2)概念数据层。

它是数据库的中间一层，是数据库的整体逻辑表示。指出了每个数据的逻辑定义及数据间的逻辑联系，是存贮记录的集合。它所涉及的是数据库所有对象的逻辑关系，而不是它们的物理情况，是数据库管理员概念下的数据库。

它不是一个迁移工具。它不会提取或创建架构。首先，您必须通过使用一种架构迁移工具（如“生成脚本”向导），或通过提取并部署数据层应用程序 (DAC) 包，将架构转移到 Windows Azure SQL Database 中的一个数据库。有关确定架构迁移过程的帮助，请参阅 选择用于将数据库迁移到 Windows Azure SQL Database 的工具。bcp 实用工具调用的 SQL Server 大容量复制功能也公开在 SQL Server 的应用程序编程接口 (API) 中。若干迁移工具（如 Windows Azure SQL Database 迁移向导和 DAC BACPAC）也使用大容量复制功能来传输数据。建议利用大容量复制最佳实践，以提高在将数据复制到大型目标表时的性能。例如： 使用-N 选项在本机模式下传输数据，这样，就不需要进行任何数据类型转换。

使用 –b 选项指定批大小。每个批处理均作为单独的事务插入和记录。默认情况下，数据文件中的所有行均作为一个批次导入。如果某个事务失败，则只回滚当前批处理中的插入。确定最佳批处理大小并使用此批处理大小是一个很好的做法，这可以减少在数据迁移期间与 Windows Azure SQL Database 断开连接的几率。

使用bcp 提示：

对导入使用 –h “TABLOCK” 提示，以便指定在大容量加载 *** 作期间使用大容量更新表级锁定。这样，通过使用单个表锁定（而不是对每行使用一个锁定），可以减少锁定开销。

对导出使用 –h “ORDER(…)” 提示可对数据文件排序。如果根据表的聚集索引对要导入的数据排序，则将提高大容量导入的性能。

对于大型表，将导入副本拆分为您可以同时运行的多个流。如果您已将源表中的数据大容量复制到单个数据文件中，则使用 –F firstrow 和–L lastrow 参数指定 bcp 的每次运行应处理数据文件的哪个部分。

有关大容量复制最佳实践的详细信息，请参阅优化大容量导入性能。如果您要使用 IDENTITY 生成表中的主键，请使用 bcp –E 参数以保留在源数据库中生成的键。-E 应防止在导入过程中出现任何外键违规，前提是在运行导入时没有对表进行任何其他更新。确保不可能有其他更新，例如将数据库放在只读模式下。注意bcp 一次运行一个表，因此，当从源数据库中提取数据时，它不维护多个表间的事务完整性。您可以通过在导出过程中将源数据库放在单用户或只读模式来解决此问题。

[返回页首]限制和局限目标数据库中的表必须是空的，才能进行大容量复制导入。除非您截断或删除由以前的大容量复制插入的所有行，否则，您不能对同一个表执行多个批量复制导入。[返回页首]先决条件bcp 随SQL Server 提供。从 SQL Server2008 R2 或更高版本的 SQL Server 安装客户端实用工具，以获得能够与 Windows Azure SQL Database 结合使用的 bcp 版本。[返回页首]使用bcp 迁移数据使用bcp 将数据从源数据库中的一个表移到目标数据库中该表的副本涉及五个步骤：迁移架构。 使用架构传输机制（如“生成脚本”向导或 DAC BACPAC）在 Windows Azure SQL Database 中创建数据库的副本。在这一进程结束时，所有表应已在 SQL Database 数据库中创建，但不包含任何数据。

将数据导出到数据文件。 对于源 SQL Server 数据库中的每个表，运行 bcp out *** 作，以将表中的数据复制到数据文件。这是将数据从一个表导出到数据文件的示例：

bcp tableName out C:\filePath\exportFileNamedat –S serverName –T –n -q out 参数指示从 SQL Server 复制出数据。-n 参数使用数据的本机数据库数据类型执行大容量复制 *** 作。-q 参数在 bcp 实用工具与数据库引擎实例之间的连接中执行 SET QUOTED_IDENTIFIERS ON 语句。

执行大容量复制优化 对任何目标数据库架构进行所需的更改，以提高将数据复制到大型表的性能，如禁用非聚集索引、触发器和约束。

将数据文件导入SQL Database 对于Windows Azure SQL Database 目标数据库中的每个表，运行 bcp 实用工具，同时将导出数据文件中的数据复制到表中。此示例包括 bcp 的三次运行，其作用是将数据从大约具有 300,000 行的数据文件复制到单个表中。每次运行复制的行数约为 100,000。

Bcp tableName in c:\filePath\exportFileNamedat –n –U userName@serverName –S tcp:serverNamedatabasewindowsnet –P password –b 200 –L 99999 –h”TABLOCK” Bcp tableName in c:\filePath\exportFileNamedat –n –U userName@serverName –S tcp:serverNamedatabasewindowsnet –P password –b 200 –F 100000 –L 199999 –h”TABLOCK” Bcp tableName in c:\filePath\exportFileNamedat –n –U userName@serverName –S tcp:serverNamedatabasewindowsnet –P password –b 200 –F 200000 –h”TABLOCK” in 参数指示将数据复制到 Windows Azure SQL Database 中。–b 参数指定每批导入数据的行数。–L lastrow 和–F firstrow 参数用于指定每次运行应处理数据文件的哪个部分。

删除架构优化 还原已删除的任何架构项，以优化大容量插入。例如，启用在步骤 3 中禁用的任何非聚集索引、触发器或约束。

主要由：数据定义、数据 *** 作、数据库的运行管理、数据组织、存储与管理、数据库的保护、数据库的维护、通信。

主要功能：

1、数据定义：供用户定义数据库的三级模式结构、两级映像以及完整性约束和保密限制等约束。DDL主要用于建立、修改数据库的库结构。

2、数据 *** 作：DBMS提供数据 *** 作语言DML（Data Manipulation Language），供用户实现对数据的追加、删除、更新、查询等 *** 作。

3、数据库的运行管理：数据库的运行管理功能是DBMS的运行控制、管理功能，包括多用户环境下的并发控制、安全性检查和存取限制控制、完整性检查和执行、运行日志的组织管理、事务的管理和自动恢复，即保证事务的原子性。这些功能保证了数据库系统的正常运行。

4、数据组织、存储与管理：DBMS要分类组织、存储和管理各种数据，包括数据字典、用户数据、存取路径等，需确定以何种文件结构和存取方式在存储级上组织这些数据，如何实现数据之间的联系。

5、数据库的保护：数据库中的数据是信息社会的战略资源，所以数据的保护至关重要。DBMS对数据库的保护通过4个方面来实现：数据库的恢复、数据库的并发控制、数据库的完整性控制、数据库安全性控制。

6、数据库的维护：这一部分包括数据库的数据载入、转换、转储、数据库的重组合重构以及性能监控等功能，这些功能分别由各个使用程序来完成。

7、通信：DBMS具有与 *** 作系统的联机处理、分时系统及远程作业输入的相关接口，负责处理数据的传送。

扩展资料：

选择数据库管理系统时应从以下几个方面予以考虑：

1、 构造数据库的难易程度。

需要分析数据库管理系统有没有范式的要求，即是否必须按照系统所规定的数据模型分析现实世界，建立相应的模型；数据库管理语句是否符合国际标准，符合国际标准则便于系统的维护、开发、移植；有没有面向用户的易用的开发工具；所支持的数据库容量，数据库的容量特性决定了数据库管理系统的使用范围。

2、 程序开发的难易程度。

有无计算机辅助软件工程工具CASE——计算机辅助软件工程工具可以帮助开发者根据软件工程的方法提供各开发阶段的维护、编码环境，便于复杂软件的开发、维护。

3、数据库管理系统的性能分析。

包括性能评估（响应时间、数据单位时间吞吐量）、性能监控（内外存使用情况、系统输入/输出速率、SQL语句的执行，数据库元组控制）、性能管理（参数设定与调整）。

参考资料来源：百度百科--数据库管理系统

数据库权限问题。数据库的权利没有打开也就进不去，需打开数据库管理界面，填写登录名和密码，把数据库权限打开就可以解决数据库权限问题。Server是一个数据库管理系统，用于存储和检索数据，它可以面向数据库执行查询，存储和检索数据，更新数据库中的数据等SQLServer是一种关系数据库管理系统。

通常数据库分为关系型数据库和非关系型数据库，关系型数据库的优势到现在也是无可替代的，比如MySQL、SQLServer、Oracle、DB2、SyBase、Informix、PostgreSQL以及比较小型的Aess等等数据库，这些数据库支持复杂的SQL *** 作和事务机制，适合小量数据读写场景；但是到了大数据时代，人们更多的数据和物联网加入的数据已经超出了关系数据库的承载范围。

大数据时代初期，随着数据请求并发量大不断增大，一般都是采用的集群同步数据的方式处理，就是将数据库分成了很多的小库，每个数据库的数据内容是不变的，都是保存了源数据库的数据副本，通过同步或者异步方式保证数据的一致性，每个库设定特定的读写方式，比如主数据库负责写 *** 作，从数据库是负责读 *** 作，等等根据业务复杂程度以此类推，将业务在物理层面上进行了分离，但是这种方式依旧存在一定的负载压力的问题，企业数据在不断的扩增中，后面就采用分库分表的方式解决，对读写负载进行分离，但是这种实现依旧存在不足，且需要不断进行数据库服务器扩容。

NoSQL数据库大致分为5种类型

1、列族数据库：BigTable、HBase、Cassandra、AmazonSimpleDB、HadoopDB等，下面简单介绍几个

（1）Cassandra：Cassandra是一个列存储数据库，支持跨数据中心的数据复制。它的数据模型提供列索引，log-structured修改，支持反规范化，实体化视图和嵌入超高速缓存。

（2）HBase：ApacheHbase源于Google的Bigtable，是一个开源、分布式、面向列存储的模型。在Hadoop和HDFS之上提供了像Bigtable一样的功能。

（3）AmazonSimpleDB：AmazonSimpleDB是一个非关系型数据存储，它卸下数据库管理的工作。开发者使用Web服务请求存储和查询数据项

（4）ApacheAumulo：ApacheAumulo的有序的、分布式键值数据存储，基于Google的BigTable设计，建立在ApacheHadoop、Zookeeper和Thrift技术之上。

（5）Hypertable：Hypertable是一个开源、可扩展的数据库，模仿Bigtable，支持分片。

（6）AzureTables：WindowsAzureTableStorageService为要求大量非结构化数据存储的应用提供NoSQL性能。表能够自动扩展到TB级别，能通过REST和ManagedAPI访问。

2、键值数据库：Redis、SimpleDB、Scalaris、Memcached等，下面简单介绍几个

（1）Riak：Riak是一个开源，分布式键值数据库，支持数据复制和容错。（2）Redis：Redis是一个开源的键值存储。支持主从式复制、事务，Pub/Sub、Lua脚本，还支持给Key添加时限。

（3）Dynamo：Dynamo是一个键值分布式数据存储。它直接由亚马逊Dynamo数据库实现；在亚马逊S3产品中使用。

（4）OracleNoSQLDatabase：来自Oracle的键值NoSQL数据库。它支持事务ACID（原子性、一致性、持久性和独立性）和JSON。

（5）OracleNoSQLDatabase：具备数据备份和分布式键值存储系统。

（6）Voldemort：具备数据备份和分布式键值存储系统。

（7）Aerospike：Aerospike数据库是一个键值存储，支持混合内存架构，通过强一致性和可调一致性保证数据的完整性。

3、文档数据库：MongoDB、CouchDB、Perservere、Terrastore、RavenDB等，下面简单介绍几个

（1）MongoDB：开源、面向文档，也是当下最人气的NoSQL数据库。

（2）CounchDB：ApacheCounchDB是一个使用JSON的文档数据库，使用Javascript做MapRece查询，以及一个使用>

（3）Couchbase：NoSQL文档数据库基于JSON模型。

（4）RavenDB：RavenDB是一个基于NET语言的面向文档数据库。

（5）MarkLogic：MarkLogicNoSQL数据库用来存储基于XML和以文档为中心的信息，支持灵活的模式。

4、图数据库：Neo4J、InfoGrid、OrientDB、GraphDB，下面简单介绍几个

（1）Neo4j：Neo4j是一个图数据库；支持ACID事务（原子性、独立性、持久性和一致性）。

（2）：一个图数据库用来维持和遍历对象间的关系，支持分布式数据存储。

（3）：是结合使用了内存和磁盘，提供了高可扩展性，支持SPARQ、RDFS和Prolog推理。

5、内存数据网格：Hazelcast、OracleCoherence、TerracottaBigMemorry、GemFire、Infinispan、GridGain、GigaSpaces，下面简单介绍几个

（1）Hazelcast：HazelcastCE是一个开源数据分布平台，它允许开发者在数据库集群之上共享和分割数据。

（2）OracleCoherence：Oracle的内存数据网格解决方案提供了常用数据的快速访问能力，一致性支持事务处理能力和数据的动态划分。

（3）TerracottaBigMemory：来自Terracotta的分布式内存管理解决方案。这项产品包括一个Ehcache界面、Terracotta管理控制台和BigMemory-Hadoop连接器。

（4）GemFire：VmwarevFabricGemFire是一个分布式数据管理平台，也是一个分布式的数据网格平台，支持内存数据管理、复制、划分、数据识别路由和连续查询。

（5）Infinispan：Infinispan是一个基于Java的开源键值NoSQL数据存储，和分布式数据节点平台，支持事务，peer-to-peer及client/server架构。

（6）GridGain：分布式、面向对象、基于内存、SQLNoSQL键值数据库。支持ACID事务。

（7）GigaSpaces：GigaSpaces内存数据网格能够充当应用的记录系统，并支持各种各样的高速缓存场景。

以上就是关于数据库架构选型与落地，看这篇就够了全部的内容，包括:数据库架构选型与落地，看这篇就够了、数据库有很多不同的类型，到底哪种能够满足你的需求如何挑选适合的数据库呢、sun创建状态数据库副本有什么意思等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！