mysql数据库 group by 报错 原理是什么？

在日常查询中，索引或其他数据查找的方法可能不是查询执行中最高昂的部分，例如：MySQL GROUP BY 可能负责查询执行时间 90% 还多。MySQL 执行 GROUP BY 时的主要复杂性是计算 GROUP BY 语句中的聚合函数。UDF 聚合函数是一个接一个地获得构成单个组的所有值。这样，它可以在移动到另一个组之前计算单个组的聚合函数值。当然，问题在于，在大多数情况下，源数据值不会被分组。来自各种组的值在处理期间彼此跟随。因此，我们需要一个特殊的步骤。

处理 MySQL GROUP BY让我们看看之前看过的同一张table：    mysql>show create table tbl G    *************************** 1. row ***************************          Table: tbl    Create Table: CREATE TABLE `tbl` (     `id` int(11) NOT NULL AUTO_INCREMENT,     `k` int(11) NOT NULL DEFAULT '0',     `g` int(10) unsigned NOT NULL,     PRIMARY KEY (`id`),     KEY `k` (`k`)    ) ENGINE=InnoDB AUTO_INCREMENT=2340933 DEFAULT CHARSET=latin1    1 row in set (0.00 sec)

并且以不同方式执行相同的 GROUP BY 语句：

1、MySQL中 的 Index Ordered GROUP BY

mysql>select k, count(*) c from tbl group by k order by k limit 5

+---+---+

| k | c |

+---+---+

| 2 | 3 |

| 4 | 1 |

| 5 | 2 |

| 8 | 1 |

| 9 | 1 |

+---+---+

5 rows in set (0.00 sec)

mysql>explain select k, count(*) c from tbl group by k order by k limit 5 G

*************************** 1. row ***************************

id: 1

select_type: SIMPLE

table: tbl

partitions: NULL

type: index

possible_keys: k

key: k

key_len: 4

ref: NULL

rows: 5

filtered: 100.00

Extra: Using index

1 row in set, 1 warning (0.00 sec)

在这种情况下，我们在 GROUP BY 的列上有一个索引。这样，我们可以逐组扫描数据并动态执行 GROUP BY（低成本）。当我们使用 LIMIT 限制我们检索的组的数量或使用“覆盖索引”时，特别有效，因为顺序索引扫描是一种非常快速的 *** 作。

如果您有少量组，并且没有覆盖索引，索引顺序扫描可能会导致大量 IO。所以这可能不是最优化的计划。

2、MySQL 中的外部排序 GROUP BY

mysql>explain select SQL_BIG_RESULT g, count(*) c from tbl group by g limit 5 G

*************************** 1. row ***************************

id: 1

select_type: SIMPLE

table: tbl

partitions: NULL

type: ALL

possible_keys: NULL

key: NULL

key_len: NULL

ref: NULL

rows: 998490

filtered: 100.00

Extra: Using filesort

1 row in set, 1 warning (0.00 sec)

mysql>select SQL_BIG_RESULT g, count(*) c from tbl group by g limit 5

+---+---+

| g | c |

+---+---+

| 0 | 1 |

| 1 | 2 |

| 4 | 1 |

| 5 | 1 |

| 6 | 2 |

+---+---+

5 rows in set (0.88 sec)

如果我们没有允许我们按组顺序扫描数据的索引，我们可以通过外部排序（在 MySQL 中也称为“filesort”）来获取数据。你可能会注意到我在这里使用 SQL_BIG_RESULT 提示来获得这个计划。没有它，MySQL 在这种情况下不会选择这个计划。

一般来说，MySQL 只有在我们拥有大量组时才更喜欢使用这个计划，因为在这种情况下，排序比拥有临时表更有效（我们将在下面讨论）。

3、MySQL中 的临时表 GROUP BY

mysql>explain select  g, sum(g) s from tbl group by g limit 5 G

*************************** 1. row ***************************

id: 1

select_type: SIMPLE

table: tbl

partitions: NULL

type: ALL

possible_keys: NULL

key: NULL

key_len: NULL

ref: NULL

rows: 998490

filtered: 100.00

Extra: Using temporary

1 row in set, 1 warning (0.00 sec)

mysql>select  g, sum(g) s from tbl group by g order by null limit 5

+---+------+

| g | s    |

+---+------+

| 0 |    0 |

| 1 |    2 |

| 4 |    4 |

| 5 |    5 |

| 6 |   12 |

+---+------+

5 rows in set (7.75 sec)

在这种情况下，MySQL 也会进行全表扫描。但它不是运行额外的排序传递，而是创建一个临时表。此临时表每组包含一行，并且对于每个传入行，将更新相应组的值。很多更新！虽然这在内存中可能是合理的，但如果结果表太大以至于更新将导致大量磁盘 IO，则会变得非常昂贵。在这种情况下，外部分拣计划通常更好。请注意，虽然 MySQL 默认选择此计划用于此用例，但如果我们不提供任何提示，它几乎比我们使用 SQL_BIG_RESULT 提示的计划慢 10 倍 。您可能会注意到我在此查询中添加了“ ORDER BY NULL ”。这是为了向您展示“清理”临时表的唯一计划。没有它，我们得到这个计划：    mysql>explain select  g, sum(g) s from tbl group by g limit 5 G    *************************** 1. row ***************************              id: 1     select_type: SIMPLE           table: tbl      partitions: NULL            type: ALL    possible_keys: NULL             key: NULL         key_len: NULL             ref: NULL            rows: 998490        filtered: 100.00           Extra: Using temporaryUsing filesort    1 row in set, 1 warning (0.00 sec)

在其中，我们获得了 temporary 和 filesort “两最糟糕的”提示。MySQL 5.7 总是返回按组顺序排序的 GROUP BY 结果，即使查询不需要它（这可能需要昂贵的额外排序传递）。ORDER BY NULL 表示应用程序不需要这个。您应该注意，在某些情况下 - 例如使用聚合函数访问不同表中的列的 JOIN 查询 - 使用 GROUP BY 的临时表可能是唯一的选择。

如果要强制 MySQL 使用为 GROUP BY 执行临时表的计划，可以使用 SQL_SMALL_RESULT 提示。

4、MySQL 中的索引基于跳过扫描的 GROUP BY前三个 GROUP BY 执行方法适用于所有聚合函数。然而，其中一些人有第四种方法。

mysql>explain select k,max(id) from tbl group by k G

*************************** 1. row ***************************

id: 1

select_type: SIMPLE

table: tbl

partitions: NULL

type: range

possible_keys: k

key: k

key_len: 4

ref: NULL

rows: 2

filtered: 100.00

Extra: Using index for group-by

1 row in set, 1 warning (0.00 sec)

mysql>select k,max(id) from tbl group by k

+---+---------+

| k | max(id) |

+---+---------+

| 0 | 2340920 |

| 1 | 2340916 |

| 2 | 2340932 |

| 3 | 2340928 |

| 4 | 2340924 |

+---+---------+

5 rows in set (0.00 sec)

此方法仅适用于非常特殊的聚合函数：MIN() 和 MAX()。这些并不需要遍历组中的所有行来计算值。他们可以直接跳转到组中的最小或最大组值（如果有这样的索引）。如果索引仅建立在 (K) 列上，如何找到每个组的 MAX(ID) 值？这是一个 InnoDB 表。记住 InnoDB 表有效地将 PRIMARY KEY 附加到所有索引。(K) 变为 (K,ID)，允许我们对此查询使用 Skip-Scan 优化。仅当每个组有大量行时才会启用此优化。否则，MySQL 更倾向于使用更传统的方法来执行此查询（如方法＃1中详述的索引有序 GROUP BY）。虽然我们使用 MIN() / MAX() 聚合函数，但其他优化也适用于它们。例如，如果您有一个没有 GROUP BY 的聚合函数（实际上所有表都有一个组），MySQL 在统计分析阶段从索引中获取这些值，并避免在执行阶段完全读取表：    mysql>explain select max(k) from tbl G    *************************** 1. row ***************************              id: 1     select_type: SIMPLE           table: NULL      partitions: NULL            type: NULL    possible_keys: NULL             key: NULL         key_len: NULL             ref: NULL            rows: NULL        filtered: NULL           Extra: Select tables optimized away    1 row in set, 1 warning (0.00 sec)

过滤和分组

我们已经研究了 MySQL 执行 GROUP BY 的四种方式。为简单起见，我在整个表上使用了 GROUP BY，没有应用过滤。当您有 WHERE 子句时，相同的概念适用：    mysql>explain select  g, sum(g) s from tbl where k>4 group by g order by NULL limit 5 G    *************************** 1. row ***************************              id: 1     select_type: SIMPLE           table: tbl      partitions: NULL            type: range    possible_keys: k             key: k         key_len: 4             ref: NULL            rows: 1        filtered: 100.00           Extra: Using index conditionUsing temporary    1 row in set, 1 warning (0.00 sec)

对于这种情况，我们使用K列上的范围进行数据过滤/查找，并在有临时表时执行 GROUP BY。在某些情况下，方法不会发生冲突。但是，在其他情况下，我们必须选择使用 GROUP BY 的一个索引或其他索引进行过滤：

mysql>alter table tbl add key(g)

Query OK, 0 rows affected (4.17 sec)

Records: 0  Duplicates: 0  Warnings: 0

mysql>explain select  g, sum(g) s from tbl where k>1 group by g limit 5 G

*************************** 1. row ***************************

id: 1

select_type: SIMPLE

table: tbl

partitions: NULL

type: index

possible_keys: k,g

key: g

key_len: 4

ref: NULL

rows: 16

filtered: 50.00

Extra: Using where

1 row in set, 1 warning (0.00 sec)

mysql>explain select  g, sum(g) s from tbl where k>4 group by g limit 5 G

*************************** 1. row ***************************

id: 1

select_type: SIMPLE

table: tbl

partitions: NULL

type: range

possible_keys: k,g

key: k

key_len: 4

ref: NULL

rows: 1

filtered: 100.00

Extra: Using index conditionUsing temporaryUsing filesort

1 row in set, 1 warning (0.00 sec)

根据此查询中使用的特定常量，我们可以看到我们对 GROUP BY 使用索引顺序扫描（并从索引中“放弃”以解析 WHERE 子句），或者使用索引来解析 WHERE 子句（但使用临时表来解析 GROUP BY）。根据我的经验，这就是 MySQL GROUP BY 并不总是做出正确选择的地方。您可能需要使用 FORCE INDEX 以您希望的方式执行查询。

1）基本用户定义函数是一类代码，对MYSQL服务器功能进行扩充，通过添加新函数，性质就象使用本地MYSQL函数abs()或concat().UDF是用C（或C++）写的。也许还可以用BASIC，.NET或其它什么虽然还没见过有人这么做。

2）从字面上何以知道UDF是很有用的，尤其当需要扩展MYSQL服务器功能时。下表给出了最佳解决方法的比较：

MethodSpeedLanguageDevelopment

方法 速度 语言开发

Stored Procedures slow SQL ~minutes (for small functions)

存储过程 慢 SQL ~分钟（对于小函数）

UDF fast C ~hour

UDF 快C ~小时

Native Function fast Cmajor pain in the ***

本地函数 快C 未知

慢的意思是和其它比较时。存储过程和一般SQL语句比仍然是很快的。

对本地函数的一点解释：本质上和UDF没太大区别。但是必须用MYSQL的资源代码来写然后重新编译全部。这将是很大的工作量，必须一边又一边的用最新版的MYSQL来完成这项工作。

3）这部分很简单。当完成了一个UDF，只是使用它就可以了。例如："SELECT MyFunction(data1, data2) FROM table"

4）编写UDF

现在开发写一个UDF：

建立一个新的shared-library项目（该例中用的VC++ 6.0建立一个标准的DLL）

首先需要一些头文件。这些头文件是标准的头文件和MYSQL服务器的包含目录里的文件

#ifdef STANDARD

/* STANDARD is defined, don't use any mysql functions */

#include

#include

#include

#ifdef __WIN__

typedef unsigned __int64 ulonglong/* Microsofts 64 bit types */

typedef __int64 longlong

#else

typedef unsigned long long ulonglong

typedef long long longlong

#endif /*__WIN__*/

#else

#include

#include

#endif

#include

#include

static pthread_mutex_t LOCK_hostname

现在必须决定需要哪类函数。本质上有两种选择：

该函数是聚合函数吗？（后面将学习很多关于聚合函数的内容）

返回类型是什么？有4个选择：

类型 描述

STRING 一个合法的字符串，转换成char*类型

INTEGER 一个普通的整型变量，转换成64位的整型

REAL型 一个俘点数，转换成double型

DECIAML型 这个并没真正的结束，MYSQL将做字符串对待

现在开始讨论关于非聚合函数。必须声明并执行一些MYSQL使用UDF时用到的函数，但首先一些必要的结构必须并确：

UDF_INIT:

类型名称 描述

my_bool maybe_null 是1如果函数能返回NULL

unsigned intdecimals 针对REAL函数

unsigned long max_length 针对字符串函数

char * ptr 自由指针针对函数的数据

my_bool const_item 0如果结果是独立的

UDF_ARGS:

类型 名称 描述

unsigned int arg_count成员数量

enum Item_result * arg_type 成员类型的数组

char **args 指向成员的指针的数组

unsigned long *lengths 成员长度的数组（针对字符串）

char * maybe_null "maybe_null"标记的数组

char **attributes 指向成员属性的指针的数组

unsigned long *attribute_lengths属性长度数组

现在看一下该函数：

De-/Initialization:

Collapseextern "C" my_bool MyTest_init(UDF_INIT *initid, UDF_ARGS *args,

char *message)

{

//非常重要的一件事是建立内存

//需要

//需要一个很长的变量来保存检测数

//虽然该例中不需要

longlong* i = new longlong// 建立变量

*i = 0// 设初值

//指针变量中保存为一个字符指针

//确认不会遇到类型问题

initid->ptr = (char*)i

//检测成员的格式

if (args->arg_count != 1)

{

strcpy(message,"MyTest() requires one arguments")

return 1

}

if (args->arg_type[0] != INT_RESULT)

{

strcpy(message,"MyTest() requires an integer")

return 1

}

return 0

}

extern "C" void MyTest_deinit(UDF_INIT *initid)

{

//这里必须清空所分配的内存

//引入函数

delete (longlong*)initid->ptr

}

The actual function:

extern "C" longlong MyTest(UDF_INIT *initid, UDF_ARGS *args,

char *is_null, char *error)

{

/*最后这是实际的工作部分。该函数为每个记录调用，返回值或指向当前值的指针保存在UDF_ARGS变量中。必须获得值，完成计算并返回值。注意可以通过UDF_INIT变量进入MyTest_init中分配的内存，该例中将为每个值设置为5

*/

return *((longlong*)args->args[0])+5

}

全部完成！现在必须编译连接库，然后将其拷贝到 *** 作系统可以加载的目录下。通常在WINDOWS里是系统变量的定义路径。个人使用的是MYSQL服务器的bin目录。必须确认该目录是其它MYSQL不能访问的。然后确认所有MYSQL需要的函数功能。

必须告诉MYSQL，这必须直接了当：执行以下SQL指令：

CREATE [AGGREGATE] FUNCTION MyTest

RETURNS [INTEGER|STRING|REAL|DECIMAL] SONAME the_libraries_exact_name

现在可以想使用其他函数一样使用它了。

5）成员函数：

现在说一下成员函数。当的UDF是个成员函数，必须增加一些函数，一些函数在不同的方式中使用。调用次序是：

调用yTest_init来分配内存（就象一般的UDF一样）

MYSQL将表分类是通过GROUP BY

每组里的第一行调用MyTest_clear

每组里的第一列调用 MyTest_add

在组改变后或最后一列改变后调用MyTest得到结果

重复3到5直到所有列被处理。

调用MyTest_deinit清空内存

现在让看一下新的聚合函数所需的函数。该例中将简单的添加所有的值。（就象本地SUM函数）

void MyTest_clear(UDF_INIT *initid, char *is_null, char *error)

{

/*为每个新组重新将总数设置为0，当然必须分配一个longlong类型变量在在init函数中，并分配给指针

*/

*((longlong*)initid->ptr) = 0

}

void MyTest_add(UDF_INIT *initid, UDF_ARGS *args, char *is_null, char *error)

{

//为每列将当前值添加到总数

*((longlong*)initid->ptr) = *((longlong*)initid->ptr) +

*((longlong*)args->args[0])

}

longlong MyTest(UDF_INIT *initid, UDF_ARGS *args, char *is_null, char *error)

{

//最后返回总值

return *((longlong*)initid->ptr)

}

6）更进一步的问题：

在写一些复杂的UDF时需要注意几个问题：

一个字符串函数应该返回一个指向结果的指针并且设置*result和*length作为目录和返回值的长度值。例如：

memcpy(result, "result string", 13)

*length = 13

MyTest建立的结果缓冲区是255字节。如果的结果保存在里面。不必担心结果的内存分配问题。

如果的字符串函数需要返回一个大于255字节长度的字符串。必须用malloc或新的MyTest_init或MyTest函数分配，然后用MyTest_deinit释放它。能用UDF_INIT的指针保存分配的内存地址，并在MyTest中重用。

在主函数中指定一个错误返回，设置 *error为1：如果MyTest()为任何列将*error设置为1，则函数的值是NULL针对于当前列，以及对任何的通过MyTest()被调用的声明中并发的列请求。

想了解更多内容看一下MYSQL在线帮助。

7）一些指导方针：

如果确实希望的UDF运行良好，这里有一些建议：）

不要在UDF中调用任何其他的程序或进程

不要保存任何的本地信息。（这些在普通的库里已经共享）

不要分配任何的全局或静态的变量。

始终检测成员的类型。就象MYSQL将所有类型都转换为字符类型。如果将一个字符类型转换成整型指针可能会出错。

特别注意内存的分配。如果有内存泄漏问题会使服务器彻底崩溃！

8）调式UDF

调试UDF需要勇气因为如果UDF有问题，每次都会使整个MYSQL服务器死掉。所以写了一个命令行工具，来围绕这个问题工作。仅仅运行它，它会模仿"SELECT"调用指令将结果保存到库文件中，可以打印所有的结果行。所以当UDF存在一些错误只是该程序崩溃而不会是整个服务器。

---