mysql数据库 group by 报错 原理是什么

mysql数据库 group by 报错 原理是什么,第1张

在日常查询中,索引或其他数据查找的方法可能不是查询执行中最高昂的部分,例如:MySQL GROUP BY 可能负责查询执行时间 90% 还多。MySQL 执行 GROUP BY 时的主要复杂性是计算 GROUP BY 语句中的聚合函数。UDF 聚合函数是一个接一个地获得构成单个组的所有值。这样,它可以在移动到另一个组之前计算单个组的聚合函数值。当然,问题在于,在大多数情况下,源数据值不会被分组。来自各种组的值在处理期间彼此跟随。因此,我们需要一个特殊的步骤。

处理 MySQL GROUP BY让我们看看之前看过的同一张table:    mysql> show create table tbl G     1 row          Table: tbl    Create Table: CREATE TABLE `tbl` (     `id` int(11) NOT NULL AUTO_INCREMENT,     `k` int(11) NOT NULL DEFAULT '0',     `g` int(10) unsigned NOT NULL,     PRIMARY KEY (`id`),     KEY `k` (`k`)    ) ENGINE=InnoDB AUTO_INCREMENT=2340933 DEFAULT CHARSET=latin1    1 row in set (000 sec)

并且以不同方式执行相同的 GROUP BY 语句:

1、MySQL中 的 Index Ordered GROUP BY

mysql> select k, count() c from tbl group by k order by k limit 5;

+---+---+

| k | c |

+---+---+

| 2 | 3 |

| 4 | 1 |

| 5 | 2 |

| 8 | 1 |

| 9 | 1 |

+---+---+

5 rows in set (000 sec)

mysql> explain select k, count() c from tbl group by k order by k limit 5 G

1 row

id: 1

select_type: SIMPLE

table: tbl

partitions: NULL

type: index

possible_keys: k

key: k

key_len: 4

ref: NULL

rows: 5

filtered: 10000

Extra: Using index

1 row in set, 1 warning (000 sec)

在这种情况下,我们在 GROUP BY 的列上有一个索引。这样,我们可以逐组扫描数据并动态执行 GROUP BY(低成本)。当我们使用 LIMIT 限制我们检索的组的数量或使用“覆盖索引”时,特别有效,因为顺序索引扫描是一种非常快速的 *** 作。

如果您有少量组,并且没有覆盖索引,索引顺序扫描可能会导致大量 IO。所以这可能不是最优化的计划。

2、MySQL 中的外部排序 GROUP BY

mysql> explain select SQL_BIG_RESULT g, count() c from tbl group by g limit 5 G

1 row

id: 1

select_type: SIMPLE

table: tbl

partitions: NULL

type: ALL

possible_keys: NULL

key: NULL

key_len: NULL

ref: NULL

rows: 998490

filtered: 10000

Extra: Using filesort

1 row in set, 1 warning (000 sec)

mysql> select SQL_BIG_RESULT g, count() c from tbl group by g limit 5;

+---+---+

| g | c |

+---+---+

| 0 | 1 |

| 1 | 2 |

| 4 | 1 |

| 5 | 1 |

| 6 | 2 |

+---+---+

5 rows in set (088 sec)

如果我们没有允许我们按组顺序扫描数据的索引,我们可以通过外部排序(在 MySQL 中也称为“filesort”)来获取数据。你可能会注意到我在这里使用 SQL_BIG_RESULT 提示来获得这个计划。没有它,MySQL 在这种情况下不会选择这个计划。

一般来说,MySQL 只有在我们拥有大量组时才更喜欢使用这个计划,因为在这种情况下,排序比拥有临时表更有效(我们将在下面讨论)。

3、MySQL中 的临时表 GROUP BY

mysql> explain select  g, sum(g) s from tbl group by g limit 5 G

1 row

id: 1

select_type: SIMPLE

table: tbl

partitions: NULL

type: ALL

possible_keys: NULL

key: NULL

key_len: NULL

ref: NULL

rows: 998490

filtered: 10000

Extra: Using temporary

1 row in set, 1 warning (000 sec)

mysql> select  g, sum(g) s from tbl group by g order by null limit 5;

+---+------+

| g | s    |

+---+------+

| 0 |    0 |

| 1 |    2 |

| 4 |    4 |

| 5 |    5 |

| 6 |   12 |

+---+------+

5 rows in set (775 sec)

在这种情况下,MySQL 也会进行全表扫描。但它不是运行额外的排序传递,而是创建一个临时表。此临时表每组包含一行,并且对于每个传入行,将更新相应组的值。很多更新!虽然这在内存中可能是合理的,但如果结果表太大以至于更新将导致大量磁盘 IO,则会变得非常昂贵。在这种情况下,外部分拣计划通常更好。请注意,虽然 MySQL 默认选择此计划用于此用例,但如果我们不提供任何提示,它几乎比我们使用 SQL_BIG_RESULT 提示的计划慢 10 倍 。您可能会注意到我在此查询中添加了“ ORDER BY NULL ”。这是为了向您展示“清理”临时表的唯一计划。没有它,我们得到这个计划:    mysql> explain select  g, sum(g) s from tbl group by g limit 5 G     1 row              id: 1     select_type: SIMPLE           table: tbl      partitions: NULL            type: ALL    possible_keys: NULL             key: NULL         key_len: NULL             ref: NULL            rows: 998490        filtered: 10000           Extra: Using temporary; Using filesort    1 row in set, 1 warning (000 sec)

在其中,我们获得了 temporary 和 filesort “两最糟糕的”提示。MySQL 57 总是返回按组顺序排序的 GROUP BY 结果,即使查询不需要它(这可能需要昂贵的额外排序传递)。ORDER BY NULL 表示应用程序不需要这个。您应该注意,在某些情况下 - 例如使用聚合函数访问不同表中的列的 JOIN 查询 - 使用 GROUP BY 的临时表可能是唯一的选择。

如果要强制 MySQL 使用为 GROUP BY 执行临时表的计划,可以使用 SQL_SMALL_RESULT 提示。

4、MySQL 中的索引基于跳过扫描的 GROUP BY前三个 GROUP BY 执行方法适用于所有聚合函数。然而,其中一些人有第四种方法。

mysql> explain select k,max(id) from tbl group by k G

1 row

id: 1

select_type: SIMPLE

table: tbl

partitions: NULL

type: range

possible_keys: k

key: k

key_len: 4

ref: NULL

rows: 2

filtered: 10000

Extra: Using index for group-by

1 row in set, 1 warning (000 sec)

mysql> select k,max(id) from tbl group by k;

+---+---------+

| k | max(id) |

+---+---------+

| 0 | 2340920 |

| 1 | 2340916 |

| 2 | 2340932 |

| 3 | 2340928 |

| 4 | 2340924 |

+---+---------+

5 rows in set (000 sec)

此方法仅适用于非常特殊的聚合函数:MIN() 和 MAX()。这些并不需要遍历组中的所有行来计算值。他们可以直接跳转到组中的最小或最大组值(如果有这样的索引)。如果索引仅建立在 (K) 列上,如何找到每个组的 MAX(ID) 值?这是一个 InnoDB 表。记住 InnoDB 表有效地将 PRIMARY KEY 附加到所有索引。(K) 变为 (K,ID),允许我们对此查询使用 Skip-Scan 优化。仅当每个组有大量行时才会启用此优化。否则,MySQL 更倾向于使用更传统的方法来执行此查询(如方法#1中详述的索引有序 GROUP BY)。虽然我们使用 MIN() / MAX() 聚合函数,但其他优化也适用于它们。例如,如果您有一个没有 GROUP BY 的聚合函数(实际上所有表都有一个组),MySQL 在统计分析阶段从索引中获取这些值,并避免在执行阶段完全读取表:    mysql> explain select max(k) from tbl G     1 row              id: 1     select_type: SIMPLE           table: NULL      partitions: NULL            type: NULL    possible_keys: NULL             key: NULL         key_len: NULL             ref: NULL            rows: NULL        filtered: NULL           Extra: Select tables optimized away    1 row in set, 1 warning (000 sec)

过滤和分组

我们已经研究了 MySQL 执行 GROUP BY 的四种方式。为简单起见,我在整个表上使用了 GROUP BY,没有应用过滤。当您有 WHERE 子句时,相同的概念适用:    mysql> explain select  g, sum(g) s from tbl where k>4 group by g order by NULL limit 5 G     1 row              id: 1     select_type: SIMPLE           table: tbl      partitions: NULL            type: range    possible_keys: k             key: k         key_len: 4             ref: NULL            rows: 1        filtered: 10000           Extra: Using index condition; Using temporary    1 row in set, 1 warning (000 sec)

对于这种情况,我们使用K列上的范围进行数据过滤/查找,并在有临时表时执行 GROUP BY。在某些情况下,方法不会发生冲突。但是,在其他情况下,我们必须选择使用 GROUP BY 的一个索引或其他索引进行过滤:

mysql> alter table tbl add key(g);

Query OK, 0 rows affected (417 sec)

Records: 0  Duplicates: 0  Warnings: 0

mysql> explain select  g, sum(g) s from tbl where k>1 group by g limit 5 G

1 row

id: 1

select_type: SIMPLE

table: tbl

partitions: NULL

type: index

possible_keys: k,g

key: g

key_len: 4

ref: NULL

rows: 16

filtered: 5000

Extra: Using where

1 row in set, 1 warning (000 sec)

mysql> explain select  g, sum(g) s from tbl where k>4 group by g limit 5 G

1 row

id: 1

select_type: SIMPLE

table: tbl

partitions: NULL

type: range

possible_keys: k,g

key: k

key_len: 4

ref: NULL

rows: 1

filtered: 10000

Extra: Using index condition; Using temporary; Using filesort

1 row in set, 1 warning (000 sec)

根据此查询中使用的特定常量,我们可以看到我们对 GROUP BY 使用索引顺序扫描(并从索引中“放弃”以解析 WHERE 子句),或者使用索引来解析 WHERE 子句(但使用临时表来解析 GROUP BY)。根据我的经验,这就是 MySQL GROUP BY 并不总是做出正确选择的地方。您可能需要使用 FORCE INDEX 以您希望的方式执行查询。

表1 MBM_CASE

表2 MOS_ORGANIZATION

统计主体表:表1,其中字段P_JUSTICE_BUREAU存储的为 表2 的type_id = '255afee102374b60b770de3b601f0f0b'类型的id,需翻译成name

select aP_JUSTICE_BUREAU,bP_JUSTICE_BUREAU_NAMER,count() as total from MBM_CASE as a

left join (select id,p_name as P_JUSTICE_BUREAU_NAMER from MOS_ORGANIZATION as b where type_id = '255afee102374b60b770de3b601f0f0b') as b on aP_JUSTICE_BUREAU = bid

where aP_STATUS = 'VALID' AND aP_CASE_STATUS != 'DRAFT' AND aP_ACCEPTANCE_DATE BETWEEN '2017-01-01' AND '2017-12-31'

GROUP BY aP_JUSTICE_BUREAU,bP_JUSTICE_BUREAU_NAMER

我晕,是这样的,在SQL Server中,如果使用了group by语句,那么在select 后的字段,必须在group by 子句后面的字段集合内!举例:

select a from t1 group by a 是可以的

select a,b from t1 group by a 是错的!

select a,b from t1 group by a,b 是对的!

当然星号()表示所有字段,如果group by 后面不包含所有字段,那肯定就有语法错误!

还有一种意外情况就是使用聚合函数,聚合函数中的字段不算在查询字段内,举例:

select a, count(b) from t1 group by a 是可以的! 这里count(b)是b字段用在聚合函数中了,不会有语法错误!

"group

by

字段列表"

表示根据后面的字段来分组,如果只有1个字段,那只是根据这个字段的值来进行一次分组就可以了;若后面有多个字段,那表示根据多字段的值来进行层次分组,分组层次从左到右,即先按第1个字段分组,然后在第1个字段值相同的记录中,再根据第2个字段的值进行分组;接着第2个字段值相同的记录中,再根据第3个字段的值进行分组依次类推。

SUM函数的语法是:

代码如下 复制代码

SELECT SUM(expression )

FROM tables

WHERE predicates;

表达式可以是一个数值字段或公式。

简单的例子

例如,你可能想知道合并全体员工的薪金总额美元以上,其薪酬是25,000/年

代码如下 复制代码

SELECT SUM(salary) as "Total Salary"

FROM employees

WHERE salary > 25000;

与Example using DISTINCT一起用

代码如下 复制代码

SELECT SUM(DISTINCT salary) as "Total Salary"

FROM employees

WHERE salary > 25000;

以上就是关于mysql数据库 group by 报错 原理是什么全部的内容,包括:mysql数据库 group by 报错 原理是什么、达梦数据库left join + group查询、Sql Server数据库 group by 语句问题!等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9341895.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-27
下一篇 2023-04-27

发表评论

登录后才能评论

评论列表(0条)

保存