新手如何调试 MySQL？看这一篇就够了

前几天看到姜老师的旧文 用 VSCode 编译和调试 MySQL，每个 DBA 都应 get 的小技能[1] , 文末留了一个思考题，如何修改源码，自定义版本，使得 select version() 输出自定义内容

调试过程参考 macOS VSCode 编译调试 MySQL 5.7[2]

内部 Item 对象参考 从SQL语句到MySQL内部对象[3]

源码面前没有秘密，建义对 DB 感兴趣的尝试 debug 调试。本文环境为 mac + vscode + lldb

vscode 插件：

mysql 源码：

补丁： MySQL <= 8.0.21 需要对 cmake/mysql_version.cmake 文件打补丁 (没有严格测试所有版本)

创建 cmake-build-debug 目录，后续 mysql 编译结果，以及启动后生成的文件都在这里

在 mysql 工程目录下面创建 .vscode/settings.json 文件

内容没啥好说的，都是指定目录及 boost 配置，其中 WITH_DEBUG 打开 debug 模式，会在 /tmp/debug.trace 生成 debug 信息

View -> Command Palette -> CMake: Configure 执行后生成 cmake 配置

View -> Command Palette -> CMake: Build 编译生成最终 mysql 相关命令

发现老版本编译很麻烦，各种报错，mysql 5.7 代码量远超过 5.5, 只能硬着头皮看 5.7

首先初始化 my.cnf 配置，简单的就可以，共它均默认

初始化数据文件，非安全模式，调试用

由于用 vscode 接管 mysql, 所以需要配置 .vscode/launch.json

然后点击 run and debug mysqld

mysql 启动，看到输出日志无异常，此时可以用 mysql-client 连接

首先在 sql_parser.cc:5435 处打断点

mysql_parse 是 sql 处理的入口，至于 tcp connection 连接先可以忽略

执行上述 sql 自动跳转到断点处， Step Into , Step Over , Step Out 这些调试熟悉下即可

接下来分别调用主要函数： mysql_execute_command , execute_sqlcom_select , handle_query , select->join->exec() , Query_result_send::send_data , Item::send , Item_string:val_str , Protocol_text::store , net_send_ok

启动 mysql 时 init_common_variables 会初始化一堆变量，其中会调用 set_server_version 生成版本信息，修改这个就可以

看好条件编译的是哪块，修改即可， 重新 CMake: Build 编译再运行

这里不做过深分析，简单讲

sql_yacc.cc 函数 PTI_function_call_generic_ident_sys 解析 sql, 识别出 version() 是一个函数调用

find_native_function_builder 查找 hash 表，找到对应 version 函数注册的单例工厂函数

mysql 启动时调用 item_create_init 将这些函数 builder 注册到 hash 表 native_functions_hash

MySQL 代码太庞大，5.1 大约 100w 行，5.5 130w 行，5.7 以后 330w 行，只能挑重点读源码。最近很多群里的人在背八股，没必要，有那时间学着调试下源码，读读多好

原文出处：https://mp.weixin.qq.com/s/lJqb0kMtnAUmqUIWCShkIQ

用vs code 就可以了。

Visual Studio Code

Visual Studio Code（简称VS Code）是由微软开发的，同时支持Windows、Linux和macOS *** 作系统的开源文本编辑器。它支持调试，内置了Git 版本控制功能，同时也具有开发环境功能，例如代码补全（类似于IntelliSense）、代码片段、代码重构等。该编辑器支持用户自定义配置，例如改变主题颜色、键盘快捷方式、编辑器属性和其他参数，还支持扩展程序并在编辑器中内置了扩展程序管理的功能。

安装LLDB

LLDB是LLVM编译器的一部分，推荐使用Homebrew安装LLVM工具集，不建议使用系统自带的LLDB，安装前必须先创建证书否则无法安装，步骤如下：

创建完成后，开始安装LLVM

brew install llvm --with-python@2 --with-lldb

安装插件

VS Code自带有debug功能，这里我推荐使用LLDB Debugger插件。

接下来，为项目配置调试参数。

配置调试参数

使用VS Code打开MySQL源码目录，在侧边栏选择debug栏目，添加配置，program输入需要调试的程序路径，这里选择你编译好的mysqld路径，args输入程序启动所需的参数，通常会指定mysqld的配置文件。这样就配置好了，是不是很简单。

启动调试

点击启动按钮，启动后如果没有设置断点会mysqld会正常启动，如果触发了断点会如下图显示。

整个调试窗口基本分为六部分，所有的调试 *** 作都在这里完成:

1: 显示变量信息

2: 设置重点关注的变量

3: 显示调用栈信息

4: 设置断点信息，在代码行号前也可以设置断点

5: 代码显示区域，上方是调试按钮，包括 continue/stepover/step in/step out/restart/stop

6: 调试终端输入输出区

断点设置

在代码行号前点击即可在该行为设置断点，也可以根据条件设置断点。以设置ConditionalBreakpoint为例，当程序启动后会按照你设置的条件表达式判断是否触发断点。

Conditional Breakpoint这种方式用在目标变量达到某条件时触发断点，其余则跳过继续执行。比如：设置变量等于目标表名时触发断点，其余表则跳过，相对函数名断点省去很多手工跳过 *** 作。

远程调试

假如你想调试远程Linux服务器上的MySQL上面的方法就不合适了，这时需要远程调试。lldb和gdb都支持远程调试，这里以lldb为例。

需要先在远程主机上安装lldb，使用yum安装，源地址在这里http://mirror.centos.org/centos/7/sclo/x86_64/rh

remote$ yum install -y llvm-toolset-7

安装完成后，启动lldb-server

remote$ /opt/rh/llvm-toolset-7/root/usr/bin/lldb-serverplatform --listen "*:9191" --server

接下来，在VS Code调试界面中新增配置项。

{

"type": "lldb",

"request": "attach",

"name": "Remote attach",

"program": "~/mysql5626/usr/local/mysql/bin/mysqld",

"pid":"<target_pid>",

"initCommands": [

"platform select remote-linux",

"platform connect connect://<remote_host>:9191"

],

"sourceMap": {

"/export/home/pb2/build/sb_0-15908961-1436910670.17/mysql-5.6.26": "/Users/hongbin/workbench/mysql-server"

}

},

program: 本机也要拷贝一份目标程序，加载

pid: 填写远程主机的mysqld进程id

sourceMap: 填写mysqld编译的代码路径与本机代码库路径的映射，这样调试时代码才可以和程序关联在一起看

注意：记得调试前将代码切换到与目标程序版本一致的branch

1）基本用户定义函数是一类代码，对MYSQL服务器功能进行扩充，通过添加新函数，性质就象使用本地MYSQL函数abs()或concat().UDF是用C（或C++）写的。也许还可以用BASIC，.NET或其它什么虽然还没见过有人这么做。

2）从字面上何以知道UDF是很有用的，尤其当需要扩展MYSQL服务器功能时。下表给出了最佳解决方法的比较：

MethodSpeedLanguageDevelopment

方法 速度 语言开发

Stored Procedures slow SQL ~minutes (for small functions)

存储过程 慢 SQL ~分钟（对于小函数）

UDF fast C ~hour

UDF 快C ~小时

Native Function fast Cmajor pain in the ***

本地函数 快C 未知

慢的意思是和其它比较时。存储过程和一般SQL语句比仍然是很快的。

对本地函数的一点解释：本质上和UDF没太大区别。但是必须用MYSQL的资源代码来写然后重新编译全部。这将是很大的工作量，必须一边又一边的用最新版的MYSQL来完成这项工作。

3）这部分很简单。当完成了一个UDF，只是使用它就可以了。例如："SELECT MyFunction(data1, data2) FROM table"

4）编写UDF

现在开发写一个UDF：

建立一个新的shared-library项目（该例中用的VC++ 6.0建立一个标准的DLL）

首先需要一些头文件。这些头文件是标准的头文件和MYSQL服务器的包含目录里的文件

#ifdef STANDARD

/* STANDARD is defined, don't use any mysql functions */

#include

#include

#include

#ifdef __WIN__

typedef unsigned __int64 ulonglong/* Microsofts 64 bit types */

typedef __int64 longlong

#else

typedef unsigned long long ulonglong

typedef long long longlong

#endif /*__WIN__*/

#else

#include

#include

#endif

#include

#include

static pthread_mutex_t LOCK_hostname

现在必须决定需要哪类函数。本质上有两种选择：

该函数是聚合函数吗？（后面将学习很多关于聚合函数的内容）

返回类型是什么？有4个选择：

类型 描述

STRING 一个合法的字符串，转换成char*类型

INTEGER 一个普通的整型变量，转换成64位的整型

REAL型 一个俘点数，转换成double型

DECIAML型 这个并没真正的结束，MYSQL将做字符串对待

现在开始讨论关于非聚合函数。必须声明并执行一些MYSQL使用UDF时用到的函数，但首先一些必要的结构必须并确：

UDF_INIT:

类型名称 描述

my_bool maybe_null 是1如果函数能返回NULL

unsigned intdecimals 针对REAL函数

unsigned long max_length 针对字符串函数

char * ptr 自由指针针对函数的数据

my_bool const_item 0如果结果是独立的

UDF_ARGS:

类型 名称 描述

unsigned int arg_count成员数量

enum Item_result * arg_type 成员类型的数组

char **args 指向成员的指针的数组

unsigned long *lengths 成员长度的数组（针对字符串）

char * maybe_null "maybe_null"标记的数组

char **attributes 指向成员属性的指针的数组

unsigned long *attribute_lengths属性长度数组

现在看一下该函数：

De-/Initialization:

Collapseextern "C" my_bool MyTest_init(UDF_INIT *initid, UDF_ARGS *args,

char *message)

{

//非常重要的一件事是建立内存

//需要

//需要一个很长的变量来保存检测数

//虽然该例中不需要

longlong* i = new longlong// 建立变量

*i = 0// 设初值

//指针变量中保存为一个字符指针

//确认不会遇到类型问题

initid->ptr = (char*)i

//检测成员的格式

if (args->arg_count != 1)

{

strcpy(message,"MyTest() requires one arguments")

return 1

}

if (args->arg_type[0] != INT_RESULT)

{

strcpy(message,"MyTest() requires an integer")

return 1

}

return 0

}

extern "C" void MyTest_deinit(UDF_INIT *initid)

{

//这里必须清空所分配的内存

//引入函数

delete (longlong*)initid->ptr

}

The actual function:

extern "C" longlong MyTest(UDF_INIT *initid, UDF_ARGS *args,

char *is_null, char *error)

{

/*最后这是实际的工作部分。该函数为每个记录调用，返回值或指向当前值的指针保存在UDF_ARGS变量中。必须获得值，完成计算并返回值。注意可以通过UDF_INIT变量进入MyTest_init中分配的内存，该例中将为每个值设置为5

*/

return *((longlong*)args->args[0])+5

}

全部完成！现在必须编译连接库，然后将其拷贝到 *** 作系统可以加载的目录下。通常在WINDOWS里是系统变量的定义路径。个人使用的是MYSQL服务器的bin目录。必须确认该目录是其它MYSQL不能访问的。然后确认所有MYSQL需要的函数功能。

必须告诉MYSQL，这必须直接了当：执行以下SQL指令：

CREATE [AGGREGATE] FUNCTION MyTest

RETURNS [INTEGER|STRING|REAL|DECIMAL] SONAME the_libraries_exact_name

现在可以想使用其他函数一样使用它了。

5）成员函数：

现在说一下成员函数。当的UDF是个成员函数，必须增加一些函数，一些函数在不同的方式中使用。调用次序是：

调用yTest_init来分配内存（就象一般的UDF一样）

MYSQL将表分类是通过GROUP BY

每组里的第一行调用MyTest_clear

每组里的第一列调用 MyTest_add

在组改变后或最后一列改变后调用MyTest得到结果

重复3到5直到所有列被处理。

调用MyTest_deinit清空内存

现在让看一下新的聚合函数所需的函数。该例中将简单的添加所有的值。（就象本地SUM函数）

void MyTest_clear(UDF_INIT *initid, char *is_null, char *error)

{

/*为每个新组重新将总数设置为0，当然必须分配一个longlong类型变量在在init函数中，并分配给指针

*/

*((longlong*)initid->ptr) = 0

}

void MyTest_add(UDF_INIT *initid, UDF_ARGS *args, char *is_null, char *error)

{

//为每列将当前值添加到总数

*((longlong*)initid->ptr) = *((longlong*)initid->ptr) +

*((longlong*)args->args[0])

}

longlong MyTest(UDF_INIT *initid, UDF_ARGS *args, char *is_null, char *error)

{

//最后返回总值

return *((longlong*)initid->ptr)

}

6）更进一步的问题：

在写一些复杂的UDF时需要注意几个问题：

一个字符串函数应该返回一个指向结果的指针并且设置*result和*length作为目录和返回值的长度值。例如：

memcpy(result, "result string", 13)

*length = 13

MyTest建立的结果缓冲区是255字节。如果的结果保存在里面。不必担心结果的内存分配问题。

如果的字符串函数需要返回一个大于255字节长度的字符串。必须用malloc或新的MyTest_init或MyTest函数分配，然后用MyTest_deinit释放它。能用UDF_INIT的指针保存分配的内存地址，并在MyTest中重用。

在主函数中指定一个错误返回，设置 *error为1：如果MyTest()为任何列将*error设置为1，则函数的值是NULL针对于当前列，以及对任何的通过MyTest()被调用的声明中并发的列请求。

想了解更多内容看一下MYSQL在线帮助。

7）一些指导方针：

如果确实希望的UDF运行良好，这里有一些建议：）

不要在UDF中调用任何其他的程序或进程

不要保存任何的本地信息。（这些在普通的库里已经共享）

不要分配任何的全局或静态的变量。

始终检测成员的类型。就象MYSQL将所有类型都转换为字符类型。如果将一个字符类型转换成整型指针可能会出错。

特别注意内存的分配。如果有内存泄漏问题会使服务器彻底崩溃！

8）调式UDF

调试UDF需要勇气因为如果UDF有问题，每次都会使整个MYSQL服务器死掉。所以写了一个命令行工具，来围绕这个问题工作。仅仅运行它，它会模仿"SELECT"调用指令将结果保存到库文件中，可以打印所有的结果行。所以当UDF存在一些错误只是该程序崩溃而不会是整个服务器。

---