能够看懂MySQL源码是一种怎么样的体验？

首先mysql是c++开发的。 github地址：https://github.com/mysql/mysql-server很多大型软件基本都是c/c++开发的。你会了c/c++基本就具备了领略程序世界的大门的钥匙。 mysql是一个完善的数据库软件。最上层：处理连接，授权认证，安全等 第二层：核心服务功能：查询解析，分析，优化，缓存以及所有内置函数（日期，时间，数据，加密等），存储过程，触发器，视图等。 第三层：存储引擎，存储引擎负责mysql中数据的存储和提取。每个引擎各有优势。服务器通过API与存储引擎进行通信。接口屏蔽了不同引擎的差异，对上层的查询过程透明。 你如果去读它，你基本就可以深入到这些业务点中。然后获取的提升绝对不是一星半点。你会发现开发一个web应用，开发一个中间件如此简单。你获取的是大神级工程师的开发思想，技巧。 举个例子：MVCC ，innodb 隔离性实现的技术。 设计原理很简单，也很巧妙。对数据安全和高并发做了平衡处理。 这个是单纯学习计算机语言，算法数据结构给不了的体验。 当前，你得能看的下去，你有那个恒心。吹牛逼就不要在这里问了？首先，能看懂 MySQL 源码的人物，我感觉肯定在技术上是一位大牛，能够将 C/C++ 语言的 MySQL 源码看懂，肯定也是一位非常有耐心的技术人，能够耐着性子去专研。 如果能够将Mysql源码研究的很透彻的话，我相信出去到大厂找数据库内核开发的岗位时，绝对是一个非常巨大的优势。能看懂 Mysql 的源码，首先第一点需要对 C/C++ 语言的知识点非常的熟悉，因为 MySQL 底层几乎都是 C/C++ 语言写的，比如指针等。 对于 MySQL 源码能够看得的话，我相信在和别人谈论数据库相关的问题时，其实也会更加有专业性和深度，能够快速的理解对方所说的数据库问题。同时，如果对 MySQL 源码有着很深入了解的话，其实对于数据库的相关配置优化等也会掌握的更好，因为你对底层原理了解的很透彻，对于自己做的每一件事情都是有理有据。每个数据库参数是什么含义，为什么要这样设置，背后都有你自己的理解和原因。这对于公司来说，也是非常需要这样的人才。当初我校招的时候，其实准备想投数据库开发相关的岗位，当时其实自己也自学过 MySQL 底层的原理（不过我没有去研究过源码）。 MySQL 最主要的还是底层可插拔式的存储引擎，比如 InnoDB、MYISAM等，重点是 InnoDB存储引擎。学习看 MySQL 源码的话，我建议可以选择其中一个模块开始入手。我刚开始看 《MySQL 技术内幕：InnoDB存储引擎》 这本书的时候，上面讲解的非常多的 MySQL InnoDB 的原理。先从原理知识入手，再去看源码会更加好一些，因为你掌握了整体的代码逻辑方向。说实话直接上手看 MySQL 源码，将会是很难的一件事情。我相信那些能够看懂 MySQL 源码的人，肯定在看源码之前，有一定的技术知识储备。新同学在去研究某一门开源技术组件的源码时，不建议直接上手去看代码，你应该是先去整体了解一下该技术组件的整体原理和框架，源码层则是更加细节方面的实现，你应该带着某一个问题去看，有针对性和目的性的去看源码，这样你的提升才会更加的快速。 我会持续大数据、数据库方面的内容，如果你有任何问题，也欢迎关注私信我，我会认真解答每一个问题。期待您的关注阅读代码，一般都是一件繁复的工作。程序员，只要工作需要、或有足够的时间，都能够胜任阅读代码的工作，特别是数据库这类功能具体的系统。如果软件的功能不确定，阅读起来确实有莫名的困难。年轻时，得到“一套”Z80汇编码，闲来无聊，尝试阅读，数周过去，不得要领。直到在一个忽略了的简单文档的阐述上下文中，意识到代码可能是实现“导d”稳定飞行的侧滚控制系统时，阅读中的问题瞬间都消失了。 拜托啦，我不只能看懂你的SQL，我还可以看懂VB、C++、数据库我也看

存储引擎是什么？

MySQL中的数据用各种不同的技术存储在文件(或者内存)中 这些技术中的每一种技术都使用不同的存储机制 索引技巧 锁定水平并且最终提供广泛的不同的功能和能力 通过选择不同的技术 你能够获得额外的速度或者功能 从而改善你的应用的整体功能

例如 如果你在研究大量的临时数据 你也许需要使用内存存储引擎 内存存储引擎能够在内存中存储所有的表格数据 又或者 你也许需要一个支持事务处理的数据库(以确保事务处理不成功时数据的回退能力)

这些不同的技术以及配套的相关功能在MySQL中被称作存储引擎(也称作表类型) MySQL默认配置了许多不同的存储引擎 可以预先设置或者在MySQL服务器中启用 你可以选择适用于服务器 数据库和表格的存储引擎 以便在选择如何存储你的信息 如何检索这些信息以及你需要你的数据结合什么性能和功能的时候为你提供最大的灵活性

选择如何存储和检索你的数据的这种灵活性是MySQL为什么如此受欢迎的主要原因 其它数据库系统(包括大多数商业选择)仅支持一种类型的数据存储 遗憾的是 其它类型的数据库解决方案采取的 一个尺码满足一切需求 的方式意味着你要么就牺牲一些性能 要么你就用几个小时甚至几天的时间详细调整你的数据库 使用MySQL 我们仅需要修改我们使用的存储引擎就可以了

在这篇文章中 我们不准备集中讨论不同的存储引擎的技术方面的问题(尽管我们不可避免地要研究这些因素的某些方面) 相反 我们将集中介绍这些不同的引擎分别最适应哪种需求和如何启用不同的存储引擎 为了实现这个目的 在介绍每一个存储引擎的具体情况之前 我们必须要了解一些基本的问题

如何确定有哪些存储引擎可用

你可以在MySQL(假设是MySQL服务器 以上版本)中使用显示引擎的命令得到一个可用引擎的列表

mysql> show engines   + + + +    | Engine     | Support | Comment                                                    |    + + + +    | MyISAM     | DEFAULT | Default engine as of MySQL   with great performance     |    | HEAP       | YES     | Alias for MEMORY                                           |    | MEMORY     | YES     | Hash based  stored in memory  useful for temporary tables  |    | MERGE      | YES     | Collection of identical MyISAM tables                      |    | MRG_MYISAM | YES     | Alias for MERGE                                            |    | ISAM       | NO      | Obsolete storage engine  now replaced by MyISAM            |    | MRG_ISAM   | NO      | Obsolete storage engine  now replaced by MERGE             |    | InnoDB     | YES     | Supports transactions  row level locking  and foreign keys |    | INNOBASE   | YES     | Alias for INNODB                                           |    | BDB        | NO      | Supports transactions and page level locking               |    | BERKELEYDB | NO      | Alias for BDB                                              |    | NDBCLUSTER | NO      | Clustered  fault tolerant  memory based tables             |    | NDB        | NO      | Alias for NDBCLUSTER                                       |    | EXAMPLE    | NO      | Example storage engine                                     |    | ARCHIVE    | NO      | Archive storage engine                                     |    | CSV        | NO      | CSV storage engine                                         |    + + + +     rows in set (  sec)  

这个表格显示了可用的数据库引擎的全部名单以及在当前的数据库服务器中是否支持这些引擎

对于MySQL 以前版本 可以使用mysql>show variables like have_% (显示类似 have_% 的变量):

mysql> show variables like  have_%      + + +     | Variable_name    | Value    |     + + +     | have_bdb         | YES      |     | have_crypt       | YES      |     | have_innodb      | DISABLED |     | have_isam        | YES      |     | have_raid        | YES      |     | have_symlink     | YES      |     | have_openssl     | YES      |     | have_query_cache | YES      |     + + +      rows in set (  sec)    

你可以通过修改设置脚本中的选项来设置在MySQL安装软件中可用的引擎 如果你在使用一个预先包装好的MySQL二进制发布版软件 那么 这个软件就包含了常用的引擎 然而 需要指出的是 如果你要使用某些不常用的引擎 特别是CSV RCHIVE(存档)和BLACKHOLE(黑洞)引擎 你就需要手工重新编译MySQL源码

使用一个指定的存储引擎

你可以使用很多方法指定一个要使用的存储引擎 最简单的方法是 如果你喜欢一种能满足你的大多数数据库需求的存储引擎 你可以在MySQL设置文件中设置一个默认的引擎类型（使用storage_engine 选项）或者在启动数据库服务器时在命令行后面加上 default storage engine或 default table type选项

更灵活的方式是在随MySQL服务器发布同时提供的MySQL客户端时指定使用的存储引擎 最直接的方式是在创建表时指定存储引擎的类型 向下面这样:

CREATE TABLE mytable (id int title char( )) ENGINE = INNODB

你还可以改变现有的表使用的存储引擎 用以下语句:

ALTER TABLE mytable ENGINE = MyISAM

然而 你在以这种方式修改表格类型的时候需要非常仔细 因为对不支持同样的索引 字段类型或者表大小的一个类型进行修改可能使你丢失数据 如果你指定一个在你的当前的数据库中不存在的一个存储引擎 那么就会创建一个MyISAM(默认的)类型的表

各存储引擎之间的区别

为了做出选择哪一个存储引擎的决定 我们首先需要考虑每一个存储引擎提供了哪些不同的核心功能 这种功能使我们能够把不同的存储引擎区别开来 我们一般把这些核心功能分为四类:支持的字段和数据类型 锁定类型 索引和处理 一些引擎具有能过促使你做出决定的独特的功能 我们一会儿再仔细研究这些具体问题

字段和数据类型

虽然所有这些引擎都支持通用的数据类型 例如整型 实型和字符型等 但是 并不是所有的引擎都支持其它的字段类型 特别是BLOG（二进制大对象）或者TEXT文本类型 其它引擎也许仅支持有限的字符宽度和数据大小

这些局限性可能直接影响到你可以存储的数据 同时也可能会对你实施的搜索的类型或者你对那些信息创建的索引产生间接的影响 这些区别能够影响你的应用程序的性能和功能 因为你必须要根据你要存储的数据类型选择对需要的存储引擎的功能做出决策

锁定

数据库引擎中的锁定功能决定了如何管理信息的访问和更新 当数据库中的一个对象为信息更新锁定了 在更新完成之前 其它处理不能修改这个数据(在某些情况下还不允许读这种数据)

锁定不仅影响许多不同的应用程序如何更新数据库中的信息 而且还影响对那个数据的查询 这是因为查询可能要访问正在被修改或者更新的数据 总的来说 这种延迟是很小的 大多数锁定机制主要是为了防止多个处理更新同一个数据 由于向数据中插入信息和更新信息这两种情况都需要锁定 你可以想象 多个应用程序使用同一个数据库可能会有很大的影响

不同的存储引擎在不同的对象级别支持锁定 而且这些级别将影响可以同时访问的信息 得到支持的级别有三种:表锁定 块锁定和行锁定 支持最多的是表锁定 这种锁定是在MyISAM中提供的 在数据更新时 它锁定了整个表 这就防止了许多应用程序同时更新一个具体的表 这对应用很多的多用户数据库有很大的影响 因为它延迟了更新的过程

页级锁定使用Berkeley DB引擎 并且根据上载的信息页( KB)锁定数据 当在数据库的很多地方进行更新的时候 这种锁定不会出现什么问题 但是 由于增加几行信息就要锁定数据结构的最后 KB 当需要增加大量的行 也别是大量的小型数据 就会带来问题

行级锁定提供了最佳的并行访问功能 一个表中只有一行数据被锁定 这就意味着很多应用程序能够更新同一个表中的不同行的数据 而不会引起锁定的问题 只有InnoDB存储引擎支持行级锁定

建立索引

建立索引在搜索和恢复数据库中的数据的时候能够显著提高性能 不同的存储引擎提供不同的制作索引的技术 有些技术也许会更适合你存储的数据类型

有些存储引擎根本就不支持索引 其原因可能是它们使用基本表索引(如MERGE引擎)或者是因为数据存储的方式不允许索引(例如FEDERATED或者BLACKHOLE引擎)

事务处理

事务处理功能通过提供在向表中更新和插入信息期间的可靠性 这种可靠性是通过如下方法实现的 它允许你更新表中的数据 但仅当应用的应用程序的所有相关 *** 作完全完成后才接受你对表的更改 例如 在会计处理中每一笔会计分录处理将包括对借方科目和贷方科目数据的更改 你需要要使用事务处理功能保证对借方科目和贷方科目的数据更改都顺利完成 才接受所做的修改 如果任一项 *** 作失败了 你都可以取消这个事务处理 这些修改就不存在了 如果这个事务处理过程完成了 我们可以通过允许这个修改来确认这个 *** 作

lishixinzhi/Article/program/MySQL/201311/29301

前几天看到姜老师的旧文 用 VSCode 编译和调试 MySQL，每个 DBA 都应 get 的小技能[1] , 文末留了一个思考题，如何修改源码，自定义版本，使得 select version() 输出自定义内容

调试过程参考 macOS VSCode 编译调试 MySQL 5.7[2]

内部 Item 对象参考 从SQL语句到MySQL内部对象[3]

源码面前没有秘密，建义对 DB 感兴趣的尝试 debug 调试。本文环境为 mac + vscode + lldb

vscode 插件：

mysql 源码：

补丁： MySQL <= 8.0.21 需要对 cmake/mysql_version.cmake 文件打补丁 (没有严格测试所有版本)

创建 cmake-build-debug 目录，后续 mysql 编译结果，以及启动后生成的文件都在这里

在 mysql 工程目录下面创建 .vscode/settings.json 文件

内容没啥好说的，都是指定目录及 boost 配置，其中 WITH_DEBUG 打开 debug 模式，会在 /tmp/debug.trace 生成 debug 信息

View -> Command Palette -> CMake: Configure 执行后生成 cmake 配置

View -> Command Palette -> CMake: Build 编译生成最终 mysql 相关命令

发现老版本编译很麻烦，各种报错，mysql 5.7 代码量远超过 5.5, 只能硬着头皮看 5.7

首先初始化 my.cnf 配置，简单的就可以，共它均默认

初始化数据文件，非安全模式，调试用

由于用 vscode 接管 mysql, 所以需要配置 .vscode/launch.json

然后点击 run and debug mysqld

mysql 启动，看到输出日志无异常，此时可以用 mysql-client 连接

首先在 sql_parser.cc:5435 处打断点

mysql_parse 是 sql 处理的入口，至于 tcp connection 连接先可以忽略

执行上述 sql 自动跳转到断点处， Step Into , Step Over , Step Out 这些调试熟悉下即可

接下来分别调用主要函数： mysql_execute_command , execute_sqlcom_select , handle_query , select->join->exec() , Query_result_send::send_data , Item::send , Item_string:val_str , Protocol_text::store , net_send_ok

启动 mysql 时 init_common_variables 会初始化一堆变量，其中会调用 set_server_version 生成版本信息，修改这个就可以

看好条件编译的是哪块，修改即可， 重新 CMake: Build 编译再运行

这里不做过深分析，简单讲

sql_yacc.cc 函数 PTI_function_call_generic_ident_sys 解析 sql, 识别出 version() 是一个函数调用

find_native_function_builder 查找 hash 表，找到对应 version 函数注册的单例工厂函数

mysql 启动时调用 item_create_init 将这些函数 builder 注册到 hash 表 native_functions_hash

MySQL 代码太庞大，5.1 大约 100w 行，5.5 130w 行，5.7 以后 330w 行，只能挑重点读源码。最近很多群里的人在背八股，没必要，有那时间学着调试下源码，读读多好

原文出处：https://mp.weixin.qq.com/s/lJqb0kMtnAUmqUIWCShkIQ

---