「微服务架构」跨多个微服务的数据架构模式

在微服务中，一个逻辑上原子 *** 作可以经常跨越多个微服务。即使是单片系统也可能使用多个数据库或消息传递解决方案。使用多个独立的数据存储解决方案，如果其中一个分布式流程参与者出现故障，我们就会面临数据不一致的风险 - 例如在未下订单的情况下向客户收费或未通知客户订单成功。在本文中，我想分享一些我为使微服务之间的数据最终保持一致而学到的技术。

为什么实现这一目标如此具有挑战性？只要我们有多个存储数据的地方（不在单个数据库中），就不能自动解决一致性问题，工程师在设计系统时需要注意一致性。 目前，在我看来，业界还没有一个广为人知的解决方案，可以在多个不同的数据源中自动更新数据 - 我们可能不应该等待很快就能获得一个。

以自动且无障碍的方式解决该问题的一种尝试是实现两阶段提交（2PC）模式的XA协议。但在现代高规模应用中（特别是在云环境中），2PC似乎表现不佳。为了消除2PC的缺点，我们必须交易ACID for BASE并根据要求以不同方式覆盖一致性问题。

在多个微服务中处理一致性问题的最着名的方法是Saga模式。 您可以将Sagas视为多个事务的应用程序级分布式协调 。 根据用例和要求，您可以优化自己的Saga实施。 相反，XA协议试图涵盖所有场景。 Saga模式也不是新的。 它在过去已知并用于ESB和SOA体系结构中。 最后，它成功地转变为微服务世界。 跨越多个服务的每个原子业务 *** 作可能包含技术级别的多个事务。 Saga Pattern的关键思想是 能够回滚其中一个单独的交易 。 众所周知，开箱即用的已经提交的单个事务无法进行回滚。 但这是通过引入 补偿 *** 作来 实现的 - 通过引入“取消” *** 作。

除了 取消 之外，您还应该考虑使您的服务具有 幂等性 ，以便在出现故障时重试或重新启动某些 *** 作。 应监控故障，并应积极主动地应对故障。

如果在进程的中间 负责调用补偿 *** 作的系统崩溃或重新启动 ，该怎么办？ 在这种情况下，用户可能会收到错误消息，并且应该触发补偿逻辑，或者 - 当处理异步用户请求时，应该恢复执行逻辑。

要查找崩溃的事务并恢复 *** 作或应用补偿，我们需要协调来自多个服务的数据。 对账

是在金融领域工作的工程师所熟悉的技术。你有没有想过银行如何确保你的资金转移不会丢失，或者两个不同的银行之间如何汇款？快速回答是对账。

回到微服务，使用相同的原则，我们可以在一些 动作触发器 上协调来自多个服务的数据。当检测到故障时，可以按计划或由监控系统触发 *** 作。最简单的方法是运行逐记录比较。可以通过 比较聚合值来 优化该过程。在这种情况下，其中一个系统将成为每条记录的真实来源。

想象一下多步骤交易。如何在对帐期间确定哪些事务可能已失败以及哪些步骤失败？一种解决方案是 检查每个事务的状态 。在某些情况下，此功能不可用（想象一下发送电子邮件或生成其他类型消息的无状态邮件服务）。在其他一些情况下，您可能希望立即了解事务状态，尤其是在具有许多步骤的复杂方案中。例如，预订航班，酒店和转机的多步订单。

在这些情况下，事件日志可以提供帮助。 记录是一种简单但功能强大的技术 。 许多分布式系统依赖于日志 。 “ 预写日志记录 ”是数据库在内部实现事务行为或维护副本之间一致性的方式。相同的技术可以应用于微服务设计。在进行实际数据更改之前，服务会写入有关其进行更改的意图的日志条目。实际上， 事件日志可以是协调服务所拥有的数据库中的表或集合 。

事件日志不仅可用于 恢复事务处理 ，还可用于为系统用户，客户或支持团队提供 可见性 。但是，在简单方案中，服务日志可能是冗余的， 状态端点或状态字段 就足够了。

到目前为止，您可能认为sagas只是编配(orchestration )方案的一部分。但是sagas也可以用于编排(choreography )，每个微服务只知道过程的一部分。 Sagas包括处理分布式事务的正流和负流的知识。在编排(choreography )中，每个分布式事务参与者都具有这种知识。

到目前为止描述的一致性解决方案并不容易。他们确实很复杂。但有一种更简单的方法： 一次修改一个数据源 。我们可以将这两个步骤分开，而不是改变服务的状态并在一个过程中发出事件。

在主要业务 *** 作中，我们修改自己的服务状态，而单独的进程可靠地捕获更改并生成事件。这种技术称为变更数据捕获（CDC）。实现此方法的一些技术是Kafka Connect或Debezium。

但是，有时候不需要特定的框架。一些数据库提供了一种友好的方式来拖尾其 *** 作日志，例如MongoDB Oplog。如果数据库中没有此类功能，则可以通过时间戳轮询更改，或使用上次处理的不可变记录ID查询更改。避免不一致的关键是使数据更改通知成为一个单独的过程。在这种情况下，数据库记录是 单一的事实来源 。只有在首先发生变化时才会捕获更改。

更改数据捕获的最大缺点是业务逻辑的分离。更改捕获过程很可能与更改逻辑本身分开存在于您的代码库中 - 这很不方便。最知名的变更数据捕获应用程序是与域无关的变更复制，例如与数据仓库共享数据。对于域事件，最好采用不同的机制，例如明确发送事件。

让我们来看看颠倒的单一事实来源。如果不是先写入数据库，而是先触发一个事件，然后与自己和其他服务共享。在这种情况下，事件成为事实的唯一来源。这将是一种事件源的形式，其中我们自己的服务状态有效地成为读取模型，并且每个事件都是写入模型。

“事件优先”方法面临的挑战也是CQRS本身的挑战。想象一下，在下订单之前，我们想要检查商品的可用性。如果两个实例同时收到同一项目的订单怎么办？两者都将同时检查读取模型中的库存并发出订单事件。如果没有某种覆盖方案，我们可能会遇到麻烦。

处理这些情况的常用方法是乐观并发：将读取模型版本放入事件中，如果读取模型已在消费者端更新，则在消费者端忽略它。另一种解决方案是使用悲观并发控制，例如在检查项目可用性时为项目创建锁定。

“事件优先”方法的另一个挑战是任何事件驱动架构的挑战 - 事件的顺序。多个并发消费者以错误的顺序处理事件可能会给我们带来另一种一致性问题，例如处理尚未创建的客户的订单。

诸如Kafka或AWS Kinesis之类的数据流解决方案可以保证将按顺序处理与单个实体相关的事件（例如，仅在创建用户之后为客户创建订单）。例如，在Kafka中，您可以按用户ID对主题进行分区，以便与单个用户相关的所有事件将由分配给该分区的单个使用者处理，从而允许按顺序处理它们。相反，在Message Brokers中，消息队列具有一个订单，但是多个并发消费者在给定顺序中进行消息处理（如果不是不可能的话）。在这种情况下，您可能会遇到并发问题。

实际上，在需要线性化的情况下或在具有许多数据约束的情况（例如唯一性检查）中，难以实现“事件优先”方法。但它在其他情况下确实很有用。但是，由于其异步性质，仍然需要解决并发和竞争条件的挑战。

有许多方法可以将系统拆分为多个服务。我们努力将单独的微服务与单独的域匹配。但域名有多细化？有时很难将域与子域或聚合根区分开来。没有简单的规则来定义您的微服务拆分。

虽然匹配帐户余额至关重要，但有许多用例，其中一致性不那么重要。想象一下，为分析或统计目的收集数据。即使我们从系统中随机丢失了10％的数据，也很可能不会影响分析的业务价值。

数据的原子更新需要两个不同系统之间达成共识，如果单个值为0或1则达成协议。当涉及到微服务时，它归结为两个参与者之间的一致性问题，并且所有实际解决方案都遵循一条经验法则：

在给定时刻，对于每个数据记录，您需要找到系统信任的数据源

事实的来源可能是事件，数据库或其中一项服务。实现微服务系统的一致性是开发人员的责任。我的方法如下：

如果Master收到所有 Slave的OK消息，它就会向所有Slave发送提交消息，告诉Slave提交该事务；

如果Slave收到提交请求，它们就会提交事务，并向Master发送事务已提交 的确认；

如果Slave收到取消请求,它们就会撤销所有改变并释放所占有的资源，从而中止事务，然后向Masterv送事务已中止的确认。

随着计算机和信息技术的迅猛发展和普及，行业应用系统的规模迅速扩大，行业应用所产生的数据量量呈爆炸式增长，类似于MySQL集群这样的技术得到了广泛的运用，MySQL集群原理的运用就显得尤其重要。

动力节点的MySQL集群教程 ，对于MySQL集群技术的应用场景有着详细的介绍，能够有效帮助我们学以致用， 教程主要从MySQL集群架构解析到架构部署再到集群架构测试，一步步带你部署企业级的MySQL数据库集群项目，熟悉各个环节技术点，提升数据库架构设计能力。

>

数据库优化是系统工程，性能的提升靠整体。本课程将面面俱到的讲解提升数据库性能的各种因素，让你在最短的时间从小白到资深，将数据库整体架构了然于胸

第1章 实例和故事 试看7 节 | 50分钟

决定电商11大促成败的各个关键因素。

收起列表

视频：1-1 什么决定了电商双11大促的成败 (04:04)试看

视频：1-2 在双11大促中的数据库服务器 (06:03)

视频：1-3 在大促中什么影响了数据库性能 (07:55)

视频：1-4 大表带来的问题 (14:13)

视频：1-5 大事务带来的问题 (17:27)

作业：1-6 讨论题在日常工作中如何应对高并发大数据量对数据库性能挑战

作业：1-7 讨论题在MySQL中事务的作用是什么？

第2章 什么影响了MySQL性能 试看30 节 | 210分钟

详细介绍影响性能各个因素，包括硬件、 *** 作系统等等。

收起列表

视频：2-1 影响性能的几个方面 (04:08)试看

视频：2-2 CPU资源和可用内存大小 (10:54)

视频：2-3 磁盘的配置和选择 (04:44)

视频：2-4 使用RAID增加传统机器硬盘的性能 (11:30)

视频：2-5 使用固态存储SSD或PCIe卡 (08:35)

视频：2-6 使用网络存储SAN和NAS (07:16)

视频：2-7 总结：服务器硬件对性能的影响 (03:27)

视频：2-8 *** 作系统对性能的影响-MySQL适合的 *** 作系统 (03:50)

视频：2-9 CentOS系统参数优化 (11:43)

视频：2-10 文件系统对性能的影响 (03:29)

视频：2-11 MySQL体系结构 (05:29)

视频：2-12 MySQL常用存储引擎之MyISAM (13:23)

视频：2-13 MySQL常用存储引擎之Innodb (10:44)

视频：2-14 Innodb存储引擎的特性(1) (15:24)

视频：2-15 Innodb存储引擎的特性(2) (08:44)

视频：2-16 MySQL常用存储引擎之CSV (09:19)

视频：2-17 MySQL常用存储引擎之Archive (06:08)

视频：2-18 MySQL常用存储引擎之Memory (10:40)

视频：2-19 MySQL常用存储引擎之Federated (11:21)

视频：2-20 如何选择存储引擎 (04:33)

视频：2-21 MySQL服务器参数介绍 (08:04)

视频：2-22 内存配置相关参数 (09:24)

视频：2-23 IO相关配置参数 (10:01)

视频：2-24 安全相关配置参数 (06:13)

视频：2-25 其它常用配置参数 (03:41)

视频：2-26 数据库设计对性能的影响 (04:36)

视频：2-27 总结 (01:32)

作业：2-28 讨论题你会如何配置公司的数据库服务器硬件？

作业：2-29 讨论题你认为对数据库性能影响最大的因素是什么

作业：2-30 讨论题做为电商的DBA，建议开发选哪种MySQL存储引擎

第3章 MySQL基准测试8 节 | 65分钟

了解基准测试,MySQL基准测试工具介绍及实例演示。

收起列表

视频：3-1 什么是基准测试 (02:20)

视频：3-2 如何进行基准测试 (09:00)

视频：3-3 基准测试演示实例 (11:18)

视频：3-4 Mysql基准测试工具之mysqlslap (13:30)

视频：3-5 Mysql基准测试工具之sysbench (11:07)

视频：3-6 sysbench基准测试演示实例 (17:11)

作业：3-7 讨论题MySQL基准测试是否可以体现出业务系统的真实性能

作业：3-8 实 *** 题参数不同取值对性能的影响

第4章 MySQL数据库结构优化14 节 | 85分钟

详细介绍数据库结构设计、范式和反范式设计、物理设计等等。

收起列表

视频：4-1 数据库结构优化介绍 (06:52)

视频：4-2 数据库结构设计 (14:49)

视频：4-3 需求分析及逻辑设计 (11:00)

视频：4-4 需求分析及逻辑设计-反范式化设计 (06:44)

视频：4-5 范式化设计和反范式化设计优缺点 (04:06)

视频：4-6 物理设计介绍 (05:17)

视频：4-7 物理设计-数据类型的选择 (18:59)

视频：4-8 物理设计-如何存储日期类型 (13:37)

视频：4-9 物理设计-总结 (02:37)

图文：4-10 说明MyISAM和Innodb存储引擎的5点不同

作业：4-11 讨论题判断表结构是否符合第三范式要求如不满足要如何修改

作业：4-12 实 *** 题请设计一个电商订单系统的数据库结构

作业：4-13 讨论题以下那个字段适合作为Innodb表的主建使用

作业：4-14 讨论题请为下表中的字段选择合适的数据类型

第5章 MySQL高可用架构设计 试看24 节 | 249分钟

详细介绍二进制日志及其对复制的影响、GTID的复制、MMM、MHA等等。

收起列表

视频：5-1 mysql复制功能介绍 (04:58)

视频：5-2 mysql二进制日志 (22:05)

视频：5-3 mysql二进制日志格式对复制的影响 (09:37)

视频：5-4 mysql复制工作方式 (03:08)

视频：5-5 基于日志点的复制 (20:06)

视频：5-6 基于GTID的复制 (22:32)

视频：5-7 MySQL复制拓扑 (13:58)

视频：5-8 MySQL复制性能优化 (09:23)

视频：5-9 MySQL复制常见问题处理 (08:31)

视频：5-10 什么是高可用架构 (14:09)

视频：5-11 MMM架构介绍 (08:09)

视频：5-12 MMM架构实例演示（上） (09:16)试看

视频：5-13 MMM架构实例演示（下） (18:55)

视频：5-14 MMM架构的优缺点 (08:01)

视频：5-15 MHA架构介绍 (10:02)

视频：5-16 MHA架构实例演示(1) (13:11)

视频：5-17 MHA架构实例演示(2) (16:54)

视频：5-18 MHA架构优缺点 (05:14)

视频：5-19 读写分离和负载均衡介绍 (11:42)

视频：5-20 MaxScale实例演示 (18:25)

作业：5-21 讨论题MySQL主从复制为什么会有延迟，延迟又是如何产生

作业：5-22 实 *** 题请为某互联网项目设计9999%MySQL架构

作业：5-23 讨论题如何给一个已经存在的主从复制集群新增一个从节点

作业：5-24 讨论题给你三台数据库服务器，你如何设计它的高可用架构

第6章 数据库索引优化8 节 | 65分钟

介绍BTree索引和Hash索引，详细介绍索引的优化策略等等。

收起列表

视频：6-1 Btree索引和Hash索引 (20:09)

视频：6-2 安装演示数据库 (01:19)

视频：6-3 索引优化策略（上） (17:33)

视频：6-4 索引优化策略（中） (13:02)

视频：6-5 索引优化策略（下） (12:30)

作业：6-6 讨论题一列上建立了索引，查询时就一定会用到这个索引吗

作业：6-7 讨论题在定义联合索引时为什么需要注意联合索引中的顺序

作业：6-8 实 *** 题SQL建立索引，你会考虑那些因素

第7章 SQL查询优化9 节 | 62分钟

详细介绍慢查询日志及示例演示,MySQL查询优化器介绍及特定SQL的查询优化等。

收起列表

视频：7-1 获取有性能问题SQL的三种方法 (05:14)

视频：7-2 慢查询日志介绍 (08:57)

视频：7-3 慢查询日志实例 (08:27)

视频：7-4 实时获取性能问题SQL (02:21)

视频：7-5 SQL的解析预处理及生成执行计划 (16:02)

视频：7-6 如何确定查询处理各个阶段所消耗的时间 (09:35)

视频：7-7 特定SQL的查询优化 (10:34)

作业：7-8 讨论题如何跟据需要对一个大表中的数据进行删除或更新

作业：7-9 讨论题如何获取需要优化的SQL查询

第8章 数据库的分库分表5 节 | 48分钟

详细介绍数据库分库分表的实现原理及演示案例等。

收起列表

视频：8-1 数据库分库分表的几种方式 (04:34)

视频：8-2 数据库分片前的准备 (13:53)

视频：8-3 数据库分片演示(上) (11:40)

视频：8-4 数据库分片演示(下) (17:02)

作业：8-5 讨论题对于大表来说我们一定要进行分库分表吗

第9章 数据库监控7 节 | 29分钟

介绍数据库可用性监控、性能监控、MySQL主从复制监控等

收起列表

视频：9-1 数据库监控介绍 (04:46)

视频：9-2 数据库可用性监控 (07:20)

视频：9-3 数据库性能监控 (09:39)

视频：9-4 MySQL主从复制监控 (06:16)

作业：9-5 讨论题QPS是否可以真实的反映出数据库的负载情况

作业：9-6 讨论题如何正确评估数据库的当前负载状况

作业：9-7 实 *** 题开发一个简单监控脚本，监控mySQL数据库阻塞情况

一个Oracle实例（Oracle Instance）有一系列的后台进程（Backguound Processes)和内存结构（Memory Structures)组成。为了能访问数据库，必须启动实例。

对于第一次接触“实例”和“数据库”的朋友来说，容易把二者混淆。实例是“内存”和“后台进程”的集合。数据库是数据的物理存储。特别注意，一个实例可以用于一个数据库，多个实例也可以同时用于一个数据库，实例和数据库的关系是一对多的关系。

举个例子，如果把数据库比作一架飞机，实例就是飞机的发动机。那么，一台发动机可以驱动飞机，两台发动机也可以同时驱动一架飞机。

多个“实例”同时驱动一个“数据库”的架构叫“集群（Oracle real application clusters,简称RAC)”,这是Oracle的一种高端应用，如果结合磁盘阵列的保护机制，RAC能最大限度的保护我们的应用不间断运行，数据不丢失。

“数据库”主要有数据库外部体系结构、内部体系结构两种。

从数据库最终用户角度看，数据库系统的结构分为单用户结构、主从式结构、分布式结构、客户/服务器、浏览器/应用服务器/数据库服务器多层结构，这是数据库外部体系结构。

物理存储结构、逻辑存储结构、内存结构和实例进程结构，这是内部体系结构。

以上就是关于「微服务架构」跨多个微服务的数据架构模式全部的内容，包括:「微服务架构」跨多个微服务的数据架构模式、什么是MySQL集群带你全面掌握MySQL集群原理、扛得住的MySQL数据库架构等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！