上一篇给小伙伴们讲了关于SQL查询性能优化的相关技巧,一个好的查询SQL离不开合理的索引设计。这篇小二就来唠一唠怎么合理的设计一个索引来优化我们的查询速度,要是有不合理的地方...嗯..
当然啦,开个玩笑,欢迎小伙伴们指正!
通常情况下,字段类型的选择是需要根据业务来判断的,通常需要遵循以下几点。
下列各种类型表格内容来自菜鸟教程,权当备忘。
优化建议:
注意: INT(2)设置的为显示宽度,而不是整数的长度,需要配合 ZEROFILL 使用 。
例如 id 设置为 TINYINT(2) UNSIGNED ,表示无符号,可以存储的最大数值为255,其中 TINYINT(2) 没有配合 ZEROFILL 实际没有任何意义,例如插入数字200,长度虽然超过了两位,但是这个时候是可以插入成功的,查询结果同样为200;插入数字5时,同样查询结果为5。
而 TINYINT(2) 配合 ZEROFILL 后,当插入数字5时,实际存储的还是5,不过在查询是MySQL会在前面补上一个0,即查询出来的实际为 05 。
优化建议:
优化建议:
通常来说,考虑好表中每个字段应该使用什么类型和长度,建完表需要做的事情不是马上建立索引,而是先把相关主体业务开发完毕,然后把涉及该表的SQL都拿出来分析之后再建立索引。
尽量少建立单值索引( 唯一索引除外 ),应当设计一个或者两三个联合索引,让每一个联合索引都尽量去包含SQL语句中的 where、order by、group by 的字段,同时确保联合索引的字段顺序尽量满足SQL查询的最左前缀原则。
索引基数是指这个字段在表里总共有多少个不同的值,比如一张表总共100万行记录,其中有个性别字段,性别一共有三个值:男、女、保密,那么该字段的基数就是3。
如果对这种小基数字段建立索引的话,因为索引树中只有男、女、保密三个值,根本没法进行快速的二分查找,同时还需要回表查询,还不如全表扫描嘞。
一般建立索引,尽量使用那些基数比较大的字段,那么才能发挥出B+树快速二分查找的优势来。
在 where 和 order by 出现索引设计冲突时,是优先针对where去设计索引?还是优先针对order by设计索引?
通常情况下都是优先针对 where 来设计索引,因为通常情况下都是先 where 条件使用索引快速筛选出来符合条件的数据,然后对进行筛选出来的数据进行排序和分组,而 where 条件快速筛选出来的的数据往往不会很多。
对生产实际运行过程中,或者测试环境大数据量测试过程中发现的慢查询SQL进行特定的索引优化、代码优化等策略。
终于轮到实战了,小二最喜欢实战了。
写到这里不得不吐槽一下,这个金三银四的跳槽季节,年前提离职了,结果离职还没办完就封村整整两个礼拜了,呜呜呜...
上节小二就提到会有个很有意思的小案例,那么在疫情当下,门都出不去的日子,感觉这个例子更有意思了,咱们来讨论一下各种社交平台怎么做的用户信息搜索呢。
社交平台有一个小伙伴们都喜欢的功能,搜索好友信息,比如小二熟练的点开省份...城市..性别..年龄..身高...
咳咳咳...小二怎么可能干这种事情,小二的心里只有代码,嗯...没错,就是这样。
这个就可以说是对于用户信息的查询筛选了,通常这种表都是非常大数据量的,在不考虑分库分表的情况下,怎么通过索引配合SQL来优化呢?
通常我们在编写SQL是会写出类似如下的SQL来执行,有 where、order by、limit 等条件来查询。
那么接下来小二一个一个慢慢增加字段来分析分析,怎么根据业务场景来设计索引。
针对这种情况,很简单,设计一个联合索引 (provice, city, sex) 就完事了。
那么这时候有小伙伴就会说了,很简单啊,范围字段放最后咱还是知道的,联合索引改成 (provice, city, sex, age) 不就可以了。
嗯,是的,这么干没毛病,但是小伙伴们有没有想过有些人万一既喜欢帅哥又喜欢美女,别想歪了哈...,挺多小姐姐就既喜欢帅哥又喜欢美女的。
那么这个时候小姐姐就不搜索性别了,那么这个时候联合索引只能用到前两个字段了,那么不符合咱们的专业标准啊,咋办呢?这时候还是有办法的,咱们只需要动动小脑袋改改SQL就行了,在没有选择性别时判断一下,改成下面这样就可以了。
咋办嘞,同样往联合索引里面塞,例如 (provice, city, sex, hobby, xx, age) 。
针对这种多个范围查询的话,为了比较好的利用索引,在业务允许的情况下可以使用固定范围,然后数据库字段存储范围标识就可以了,这样就转化为了等值匹配,就可以很好地利用索引了。
例如最后登录时间字段不记录最后登录时间,而是记录设置字段is_login_within_seven_days 在7天内有登录则为1,否则为0,最后索引设计成 (provice, city, sex, hobby, xx, is_login_within_seven_days, age) 。
那么根据场景最后设计出来的这个索引可能已经可以覆盖大部分的查询流量了,那么如果还有其他一部分热度比较高的查询怎么办呢,办法也很简单啊,再加一两个索引即可。
例如通常会查询这个城市比较受欢迎(评分:score)的小姐姐,这时候添加一个联合索引 (provice, city, sex, score) 那么就可以了。
可以看出,索引时必须结合场景来设计的,思路就是尽量用不超过3个复杂的联合索引来抗住大部分的80%以上的常用查询流量,然后再用一两个二级索引来抗下一些非常用查询流量。
以上就是小二要给大家分享的索引设计,如果能动动你发财的小手给小二点个免费的赞就更好啦~
下篇小二就来讲讲MySQL事务和锁机制。
1、要想高效利用索引,我们首先要考虑如何正确建立索引。
(1)在经常做搜索的列上,也就是WHERE子句里经常出现的列,考虑加上索引,加快搜索速度。
(2)唯一标识记录的列,应该加上唯一索引,强制该列的唯一性并且加快按该列查找记录的速度。
(3)在内连接使用的列上加上索引,最好是在内连接用到字段都加上,因为MySQL优化器会自动地选择连接顺序,然后观察索引的使用情况,将没用的索引删除即可。
(4)在需要排序的列上加上索引,因为索引本身是按顺序的组织的,它可以避免 filesort,要知道,Server层在进行排序时是在内存中进行的,非常消耗资源。
(5)可以考虑实现覆盖索引,即根据 SELECT 的所有字段上创建联合索引,这样存储引擎只用读取索引而不用去回表查询,极大地减少了对数据表的访问,大大地提高了性能。
(6)对于那些选择性很小的列,比如性别列,增加索引并不能明显加快查询速度,反而该索引会成为表的累赘。
(7)对于那些定义为text, image和bit数据类型的列不应该增加索引。这是因为,这些列的要么数据量相当大,要么取值很少。
(8)当对写性能的要求远远大于读性能时,不应该创建索引。写性能和读性能是互相矛盾的。这是因为,维护一个 B+Tree 成本是非常大的,对索引的写会涉及到页的分裂等。
(9)复合索引的几个字段是否经常同时以AND方式出现在Where子句中?单字段查询是否极少甚至没有?如果是,则可以建立复合索引,否则考虑单字段索引。这还是说明,满足查询性能的前提下,索引越少越好。
(10)如果复合索引所包含的字段超过3个,那么仔细考虑其必要性,考虑减少复合的字段。
(11)在用于GROUP BY的列上加上索引,避免使用临时表。
(12)对于较长的字符列,如 char、varchar等,由于字符串的比较相对来说非常耗时,因此考虑使用前缀索引减少索引长度,或者创建自定义哈希索引,将字符串映射成整数,然后以该整数作为索引,同时以字符串的值作为过滤条件。
我们在创建索引时,可以根据下面原则进行简单判断:索引是否将相关记录集合到了一起,从未减少了磁盘I/O,加快搜索速度?索引中数据的排列顺序是否和查找的数据的排列顺序一致,从而避免了Server层的排序?索引中的列是否包含了查询中需要的全部列从而实现了覆盖索引? 这几个条件层层递进,满足得越多越好。
2、索引正确地建立了,我们还需要正确地使用它们:
(1)使用了运算符 !=,以及关键字not in,not exist,>,<等,总之产生的结果集很大时(也在where条件进行大范围的选择时),往往导致引擎不使用索引而是走全盘扫描。因为如果使用索引会造成大量的随机I/O,得不偿失。
(2)如果对索引列进行运算,如 WHERE substr(name, 1, 3)=‘mark’,存储引擎并不能聪明地判断哪些索引满足等式,因此不能使用到索引。
(3)使用到了LIKE,并且通配符在最前面时,不能使用索引。
(4)对于联合索引 (a, b, c),如果没用到最左列,那么一般情况下都使用不到索引。但是,比如统计 *** 作 count(*) where a >xxx,是可以使用到该联合索引的。毕竟统计这类 *** 作,它不是检索,并不需要索引完全有序。
(5)对于联合索引,如果某个列使用了范围查找,那么其右边的列都无法作为索引优化查询,但是由于 ICP(Index Condition Pushdown),这些列能作为过滤条件在存储引擎中对数据进行过滤。
(6)如果条件中有 OR,则必须每个OR用到的字段都有索引,否则不能使用任何索引。
(7)想在联合查询中使用索引来避免 filesort,则关联查询中的ORDER BY用到的字段必须全部是第一张表(驱动表)上的。
https://blog.csdn.net/weixin_43935927/article/details/109491334建立索引,要使用离散度(选择度)更高的字段。
我们先来看一个重要的属性列的 离散度,
count(distinct(column_name)) : count(*) -- 列的全部不同值个数:所有数据行行数
数据行数相同的情况下,分子越大,列的离散度就越高。简单来说,如果列的重复值越多,离散度就越低,重复值越少,离散度就越高。
当字段值比较长的时候,建立索引会消耗很多的空间,搜索起来也会很慢。我们可以通过截取字段的前面一部分内容建立索引,这个就叫前缀索引。
创建一张商户表,因为地址字段比较长,在地址字段上建立前缀索引
create table shop(address varchar(120) not null)
alter table shop add key(address(12)) // 截取12个字符作为前缀索引是最优的吗?
问题是,截取多少呢?截取得多了,达不到节省索引存储空间的目的,截取得少了,重复内容太多,字段的散列度(选择性)会降低。怎么计算不同的长度的选择性呢?
先看一下字段在全部数据中的选择度计算公式:
select count(distinct address) / count(*) from shop
select count(distinct left(address, n)) / count(*) as subn from shop
count(distinct left(address,n)) / count(*) 的结果是会随着 n 的变大而变大。举个例子,现在有两个address(东大街长兴小区,东大街福乐小区),那么 distinct(address,2) <distinct(address,3)
==>所以,截取的长度越长就会越接近字段在全部数据中的选择度
==>所以,我们要权衡索引大小和查询速度。
举个例子,通过不同长度去计算,与全表的选择性对比:
SELECT COUNT(DISTINCT(address))/COUNT(*) sub, -- 字段在全部数据中的选择度
COUNT(DISTINCT(LEFT(address,5)))/COUNT(*) sub5, -- 截取前5个字符的选择度
COUNT(DISTINCT(LEFT(address,7)))/COUNT(*) sub7,
COUNT(DISTINCT(LEFT(address,9)))/COUNT(*) sub9,
COUNT(DISTINCT(LEFT(address,10)))/COUNT(*) sub10, -- 截取前10个字符的选择度
COUNT(DISTINCT(LEFT(address,11)))/COUNT(*) sub11,
COUNT(DISTINCT(LEFT(address,12)))/COUNT(*) sub12,
COUNT(DISTINCT(LEFT(address,13)))/COUNT(*) sub13,
COUNT(DISTINCT(LEFT(address,15)))/COUNT(*) sub15
FROM shop
+--------+--------+--------+--------+--------+--------+--------+--------+--------+
| sub | sub5 | sub7 | sub9 | sub10 | sub11 | sub12 | sub13 | sub15 |
+--------+--------+--------+--------+--------+--------+--------+--------+--------+
| 0.9993 | 0.0225 | 0.4663 | 0.8618 | 0.9734 | 0.9914 | 0.9943 | 0.9943 | 0.9958 |
+--------+--------+--------+--------+--------+--------+--------+--------+--------+
可以看到在截取 11 个字段时 sub11(0.9993) 就已经很接近字段在全部数据中的选择度 sub(0.9958)了,而且长度也相较后面更短一些, 综合考虑比较合适。
ALTER TABLE shop ADD KEY (address(11))
1.索引的个数不要过多(浪费空间,更新变慢)
2.在用于 where 判断 order 排序和 join 的(on)字段上创建索引
3.区分度低的字段,例如性别,不要建索引(离散度太低,导致扫描行数过多)
4.更新频繁的值,不要作为主键或者索引(页分裂)
5.不建议用无序的值作为索引,例如身份z、UUID(在索引比较时需要转为ASCII,并且插入时可能造成页分裂)
6.若在多个字段都要创建索引的情况下,联合索引优于单值索引
7.联合索引把散列性高(区分度高)的值放在前面
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)