新一代HTAP数据库崛起，MySQL生态的最佳归宿？

俗话说，天下大势，合久必分、分久必合。

数据库领域同样如此。过去五十余年，数据库经历OLTP和OLAP两种需求漫长的融合-分离-再融合的过程。究其原因，数据库的发展始终与用户场景需求变迁紧密相关。如今，随着云计算和大数据的兴起，业务场景正在经历前所未有的变革，数据库领域也掀起了一股HTAP浪潮。

Gartner在多次报告中强调，HTAP是数据库领域最重要的发展趋势之一，也是用户数字化转型中重要的数据平台。业界甚至认为，HTAP的兴起代表着数据库大融合时代的开启。

那么，为什么数据库大厂和云服务巨头们均纷纷押宝HTAP？开源+多云为何是HTAP普及的助推剂？面对新一代HTAP数据的崛起，多年积累形成的MySQL生态终于找到最佳归宿？

放在几年前，HTAP可能还会被认为是数据库领域的小众产品，是否成气候还有待观察。

而随着数据资源、数据消费习惯和数据驱动型场景发生巨大变化，用户需求与传统数据库之间的供需矛盾日渐突出，使得HTAP这种具备“同时支持OLTP和OLAP、创新计算存储框架、去ETL”等特征的新时代数据库成为不可阻挡的趋势。

如今，几乎所有数据库大厂和云服务巨头都在布局HTAP。例如，OceanBase去年推出的 3.0版本中就正式宣布向HTAP数据库进军；今年5月，Google Cloud发布HTAP云端数据库AlloyDB，为PG用户提供了HTAP数据库服务；再加上Oracle MySQL Heatwave，甚至连SnowFlake也发布Unistore来“蹭”HTAP的热点。

如果细数近一年以来的HTAP新品，会发现几乎全部都建立在云端之上。新一代HTAP+云正在成为数据库市场重要的潮流。例如，PingCAP近日发布的TiDB 6.0，也是与云端紧密联系的新一代HTAP数据库。

事实上，PingCAP是HTAP数据库领域非常重要的一个引领者。早在TiDB 3.0起，PingCAP就正式转向HTAP，从OLTP主引擎+OLAP辅助能力，到OLTP引擎+外接分析引擎，再到OLTP引擎+融合分析引擎，PingCAP在HTAP领域稳打稳扎，一个版本上一个台阶。

如今，随着TiDB 6.0的发布，针对HTAP进行了更多成熟性改进，TPC-C 性能也较 5.0 版本提升达到 76.32%，TiDB 6.0还增强了多个企业级特性，以更好适合云时代用户对于HTAP数据库的需求。

固然，有人质疑当前HTAP是新瓶装旧酒，并无太多新意。但业界普遍形成共识：新一代HTAP与过去完全不同，开源+云孕育而出，很多都有AI加持，而且是为数据敏捷而生，拥有过去前所未有的创新活力与迭代速度，并逐渐形成数据库技术变革的新潮流。

PingCAP CTO 黄东旭也直言：“TiDB近年来的快速进化与迭代，得益于开源和云的助力。”

HTAP之所受到用户青睐，某种程度是因为用户对于数据敏捷性的极度渴求。

“在数字化时代，客户最为在乎的是如何快速走向市场。这需要数据敏捷性，而HTAP恰恰是数据敏捷的核心能力。”黄东旭如是说。

最近几年，“海量、实时、在线”的需求越来越广泛，大量采用 MySQL 和 PostgreSQL 开源数据库的新一代企业需要提升对于热数据的实时在线分析能力，这类需求遍布几乎所有的互联网企业以及从事线上业务的数字化转型企业。对于新鲜数据的实时分析能力直接决定了这些业务的生死存亡，传统的 OLTP+OLAP+ETL 的数据架构已经严重阻碍了消费者体验，这种诉求催生了 HTAP 的技术变革。

而真正帮助HTAP与用户需求完成对接的则是开源+云。众所周知，开源近年来在数据库领域的流行和影响力与日俱增，DB-Engines数据显示，全球383款数据库中开源数据库占据51.7%，六款开源数据库进入到前十，开源正在成为像HTAP这种新时代数据库的创新源泉。

以PingCAP的TiDB为例，其产品研发体系建立在开源体系和开源社区的基础上，实现了一年一个大版本、一个月一个小版本的迭代速度。黄东旭透露道：“开源是TiDB的第一个增长引擎，通过开源体系，开发者、贡献者、布道者和用户能够很好串联起来，形成飞轮效应，让产品能够走向加速迭代和创新的正向循环。”

据悉，TiDB每年会有超过 40% 的代码更新，而这些代码有很大一部分由外部贡献者所共享。TiDB开源项目一直在全球和中国开源项目活跃度中名列前茅。

如果说开源改变了HTAP产品的开发模式和迭代速度，那么云则能够为HTAP产品提供用户最为直接的需求反馈。众所周知，云数据库一改以往传统数据库部署、运维、扩展等难题，以云服务的方式让数据库使用更加简单；更加关键的是，随着云计算的普及，云上用户群体持续增加，来自云上用户群体的需求反馈无时无刻都在发生，对于数据库产品的进化与迭代至关重要。

“真正的产品迭代是如何缩短用户问题/需求的反馈时间。云无疑为数据库等基础软件提供了这样的价值，让产品可以更好地迭代。”黄东旭如是说。以TiDB为例，自去年五月全托管的数据库即服务（DBaaS）产品 TiDB Cloud 公测版发布以来，已经陆续登陆亚马逊云 科技 、谷歌云等全球知名云服务商的Marketplace，并在今年5月份正式全球商用；今年 6 月与阿里云合作上线阿里云云市场，成为为数不多的跨全球三朵云的数据库服务。

在众多数据库产品之中，MySQL凭借着开源、免费、适合互联网场景等优势，常年位居全球最受欢迎数据库的前三。根据Slintel网站的统计数据，在全球关系型数据库市场中，MySQL市场份额最高，达到43.04%。

过去二十年里，开源MySQL数据库对于各行各业影响至深，捕获了来自互联网、金融、零售、交通等多个行业用户的心，堪称“万人迷”。例如，在中国就有超过9成的金融机构都应用了MySQL数据库。

但任何数据库潮流都是“需求变化+技术变革+架构创新”融合的产物，MySQL是如此，HTAP亦不例外。如今，场景的数据规模、业务并发量、处理速度要求跟以往相比早已不是一个数量级。此时，MySQL数据库的局限性愈发突出，扩展性很难满足用户需求，想继续获得增长的企业不得不使用分库分表方案，但这又会造成数据架构的复杂性。

新一代HTAP数据库无需分库分表，且具备实时海量规模的OLTP和实时数据分析能力，还拥有极为出色的扩展性，与很多业务场景的海量交易实时数据展现、平稳运行的需求高度契合，HTAP凭借技术架构优势崛起已成必然。

“用户需求侧最大的变化就是很多用户需要借助热数据实现运营级别的实时分析，获得实时洞察以支持决策，这极大推动了新一代HTAP数据库的需求。”PingCAP副总裁刘松补充道。

虽然MySQL已经增加列存引擎Heatwave来获得HTAP能力，但主要解决规模化查询的问题，系统本身架构并未产生革命性变化，扩展能力、OLTP吞吐量依然有着很大局限。“智能新能源 汽车 跟传统燃油车在外表看几乎没区别。数据库也类似，像TiDB这种新一代HTAP数据库，从架构设计、应对场景和使用体验等角度，都与传统数据库有着极大的区别。”刘松形象比喻道。

事实上，与过去SAP HANA这种小众、昂贵的HTAP不同，新一代HTAP拥有极强的兼容性，像Google Cloud、PingCAP这些数据库厂商都借助新一代HTAP架构为采用 MySQL或者PG开源数据库的企业拓展 OLTP和OLAP的能力范围。

例如，Google Cloud发布的HTAP云端数据库AlloyDB，为单机版PG生态用户提供了最好选择，TiDB则成为MySQL生态的最佳归宿。PingCAP大量用户中有很多TiDB与MySQL混合部署的成功案例；得益于 TiDB 的开放性，TiDB 也可通过和其他数据服务产品“混搭”形成新的数据服务解决方案， 如通过同样是开源的大数据计算引擎 Flink 混搭形成实时数仓解决方案，扩展 HTAP 数据库的能力边界。

黄东旭则直言，HTAP数据库除了产品、技术之外，尤为需要关心用户体验，“HTAP应该让用户觉得好用，屏蔽掉数据库的复杂性。”据悉，PingCAP是2022 Gartner Peer Insights“Voice of the Customer” 云数据库领域唯一入选的中国数据库公司，客户总体评分达到 4.7 分（满分 5 分），在所有入选企业中位列第一。在参与Gartner Peer Insights评分的PingCAP用户中，像互联网、金融等重点行业用户均高度认可HTAP现代数据库理念。

总体来看，今年是HTAP的大年，各大厂商纷纷在市场中上新。随着新一代HTAP数据库产品的增多，整个市场对于HTAP数据库理念和产品的接受与采用将会提速。而随着新一代HTAP数据库持续完善，让广大MySQL生态用户群真正看到了大数据时代一条绝佳的迁移路径。

 你要的全在下面：数据库已经有4代了产品很多。

DBA课程更新内容大纲：

序章 DBA职业体系与数据库产品趋势

What is DBA？

DBA成长体系与职业方向(0-30W-50W-100W-???)

数据库发展历史,产品迭代趋势与职业学习方向

第一部分 OLTP数据库-MySQL(约1天)

MySQL基础入门

MySQL数据库简介

什么是数据库？什么是OLTP?

为什么学习MySQL?MySQL产品迭代

一二线大厂MySQL主流版本功能使用与特性介绍(5.1,5.6,5.7,8.0)**独家**

MySQL部署与管理体系

5.7,8.0版本企业规范部署,启动

MySQL管理体系讲解

MySQL产品架构分析与基础管理

MySQL基础架构解析(一条SQL是如何执行的)

MySQL启动过程

MySQL连接的生命与使命

MySQL表结构实现原理

MySQL开发应用（约1.5天）

MySQL       SQL基础应用

声明式式语言与SQL语言

SQL语言应用场景与sqlmode

MySQL开发工具选择与使用

MySQL字符串类型与字符集

MySQL语句类型介绍(DDL,DCL,DML,DQL)

SQL之查询基础

SQL之聚合与排序

SQL之数据更新

SQL之复杂查询

SQL之集合运算

MySQL       SQL高级处理与开发

函数开发与应用

存储过程,触发器，事件

表分区管理及企业级应用场景

Online DDL解析与开源生态OPS

窗口函数讲解及应用场景

MySQL JSON开发及应用

一二线大厂MySQL企业级开发规范详解**独家**

MySQL核心技术

MySQL       InnoDB索引实现原理及执行计划分析（约0.5天）

索引介绍

1.      索引的由来

2.      表和索引结构

3.      表聚簇与索引行

4.      表行与索引组织表

MySQL索引介绍

InnoDB索引B+ tree的索引设计

聚簇索引与二级索引

InnDB索引插入过程

数据类型对索引应用的使用影响

执行计划介绍及结果剖析

索引优化基础实战演练

企业级索引优化实战案例(亿万级QPS的索引优化与索引上线)**独家**

MySQL InnoDB存储引擎技术内幕与深入讲解（约1天）

Mysql存储引擎介绍与功能特性

InnoDB引擎源代码目录结构与存储引擎文件组织

InnoDB存储引擎核心架构介绍及解析

InnoDB数据存储结构

InnoDB事务详解及ACID特性解析

InnoDB 日志管理机制Undo与Redo

InnoDB事务与隔离级别

InnoDB MVCC及锁机制

MySQL日志管理与实战（0.5）

General log详解

Error log详解

企业级Binary log with Data pipeline **独家**

企业级Slowlog场景应用**独家**

MySQL备份恢复与迁移（0.5）

备份工具介绍与使用场景解析

一二线大厂过万数据节点备份策略**独家**

一二线大厂Mysqldump核心原理与企业级实战演练**独家**

一二线大厂Xtrabackup核心原理与企业级实战演练**独家**

Enterprise Backup企业级生态工具介绍与应用

MySQL主从复制深入（约1天）

主从复制简介与简单搭建

主从复制工作原理解析

主从数据一致性方案讲解(半同步，全同步)

MySQL主从复制实战

1.      延时复制

2.      过滤复制

3.      多源复制

MySQL GTID复制

企业级主从复制故障分析与处理方案

亿级QPS MySQL节点故障转移实战案例**独家**

MySQL高可用架构（1天）

一二线大厂过万集群规模高可用架构MHA+BLB企业级实战**独家**

Mycat,DBLE企业级实战

MySQL企业级优化与实战（约1天）

打造高性能MySQL

企业级MySQL参数优化实战**独家**

企业级T0级别故障案例解析**独家**

阿里云数据库产品(RDS与PolarDB)（选修二选一） （1天）

企业级RDS介绍,使用与故障案例(百度云RDS 运维DBA分享或交流)**独家**

企业级PolarDB业务场景解析(阿里团队PolarDB P7交付架构师分享或交流)**独家**

第二部分 NoSQL

Redis核心技术（2天）

Redis产品介绍与应用场景简析

Redis安装，部署，使用

Redis数据类型详解与应用

Redis集群架构讲解与实战(哨兵,cluster)

千亿级Redis集群参数优化实战**独家**

千亿级企业级Redis核心案例讲解与业务场景解析**独家**

MongoDB核心技术（2天）

MongoDB产品介绍与应用场景简析

MongoDB安装,部署及架构解析

MongoDB数据类型与运维管理

MongoDB集群架构讲解与实战

企业级MongoDB参数优化实战**独家**

BAT千万元级别故障案例分享**独家**

ES核心技术（2天）

ES产品介绍与应用场景简析

ES安装,部署及架构解析

ES日常运维管理

第三部分 NewSQL（4天）

NewSQL-TiDB(仅学此一个+MySQL至少20K起步) TUG核心成员-PingCAP官方认证讲师 **独家**

TiDB产品介绍与分布式数据库技术应用讲解

TiDB集群部署与日常管理

TiDB集群监控详解与指标应用

TiDB核心架构深入讲解与Raft协议深入浅出**独家*

企业级TiDB-DM理解与应用**独家*

1.      58同城亿级流量Mysql热迁移TiDB**独家**

2.      DM集群多源同步复制场景最佳实践(官方认证，业界唯二)**独家**

TiDB企业级业务开发最佳实践**独家**

TiFllash核心架构讲解与实战**独家**

TiDB打造HTAP实时数仓平台架构设计**独家**

Cloud TiDB(K8S上云实战)**独家**

TiDB4.0热升级5.0集群(简介：我司与Pingcap官方{开发30人，交付专家7人，项目经理4人}封闭测试与在线升级全案例解析6.23日项目完结,官方认证业界目前第一的业务场景与投入)

NewSQL-TDengine（1天 选修）

TDengine产品介绍

TDengine单机版与集群部署与管理

TDengine架构体系详解

TDengine企业级参数优化与实战

TDengine业务开发规范与业务场景实战

第四部分 企业级大规模数据库集群运维开发实战(35W+年薪提升)**独家**

数据运维产品架构设计思路（0.5天）

什么是数据运维平台

企业级数据运维平台架构解析

数据运维平台企业级原型设计实战（0.5天）

数据库运维自动化工具开发(Shell,Python)（2天5选2，下期轮换）

MySQL亿万级流量运维平台开发

Redis亿万级流量运维平台开发

ES亿万级流量运维平台开发

MongoDB亿万级流量运维平台开发

TiDB亿万级流量运维平台开发

在 Mysql 5.6 之前版本中 ， 如果要修改一个表的ddl信息 ，需要锁表 。

具体步骤如下:

下面是Mysql官方文档对于DDL *** 作的总结:

http://dev.mysql.com/doc/refman/5.6/en/innodb-create-index-overview.html

http://dev.mysql.com/doc/refman/5.7/en/innodb-create-index-overview.html

可以使用 Alter 语句支持 DDL 特性 ，比如可以用 LOCK = NONE 无锁变更。

percona是一个开源产品 , 是管理Mysql的工具。

PT-OSC(Percona Toolkit Online Schema Change)

https://www.percona.com/doc/percona-toolkit/3.0/pt-online-schema-change.html

Percona Toolkit 包含很多 mysql 管理的功能 ，现在要说的是 online-schema-change上

PT-OSC 原理是建表 ，使用触发器同步数据 ，然后原子性rename。

这样可以支持在线无锁，不停机Online-DDL 。

具体步骤如下：

Percona 有一些限制和缺陷 ，根据它的原理 ，原表不能存在触发器 ，这玩意是唯一。另外原表必须存在PK或者UK。另外就是触发器的问题了，触发器带来性能开销，并且无法停止，那我就不能控制我同步的开关和速度。

但是gh-ost说它可以。

https://github.com/github/gh-ost

go-ost基于bin-log同步 ， 基于binlog肯定都是伪装成一个replica。

由于使用单线程回放binlog来替换触发器，所以增量DML回放效率不如触发器，因为pt-osc的增量回放并发度是与业务DML并发度相同的，是多线程的。

相对于percona的优势是:

因为出的太晚了 ，然后percona 和 gh-ost等等开源产品已经大规模实践了，Mysql就更加没什么实践案例和经验了，大家就不太愿意尝试或者迁移了。

大厂来说基本上都是平台封装了，类似idb ，会把无锁变更细节屏蔽了，只需要提工单就可以了 ，但是底层基本上也是建表同步rename个思路。

小公司的话，可以使用percona 、 go-ost 等工具。

MySQL 8.0 Online DDL和pt-osc、gh-ost深度对比分析

Mysql Online DDL

pt-online-schema-change

gh-ost

MySQL5.6在线表结构变更（online ddl）总结

---