Mysql大表加索引

Mysql大表加索引,第1张

select (*) from tb_name where create_time >xxx

最终得知是因为这个表数据行数已经超过 一千万了,然后create_time字段又没有索引

那解决办法肯定是加索引喽。

但是这个表是一直在线上运行,很重要和业务部分。如果给千万级的大表在线加索引 ,肯定会卡死。

然后就搜罗了一大筐解决方案,比如 在线无锁加索引使用

ALTER TABLE tbl_name ADD PRIMARY (column), ALGORITHM=INPLACE, LOCK=NONE

后来才发现,这个特性是 Mysql 5.6 以后才支持,然而我们的mysql用的是5.5版本

最后在 《高性能Mysql》一书中看到,可在通过 “影子拷贝”来解决,

就是 先创建一张和源表无关的新表,然后通过重命名和删表 *** 作交换两张表;

当给新表加完索引后,最上面那条查询直接就是0.0002s

场景:在给一张有几万条记录的表添加索引时,进度非常慢,导致其它查询无法进行

处理方式

使用Navicat的命令行模式,执行以下命令:

show processlist

这时会看到有哪些线程正在执行,也可以查看锁表的线程。你会发现alter table * add key ****那个线程状态是Waiting for table metadata lock,后面有个这个表的所有 *** 作都是这个状态,很明显是这条加索引的语句把表给锁了。

查看线程ID,执行

kill 线程ID

这样被锁住的表就能立即被使用了。

由此得出一个结论,当一张表数据量很大时,不要轻易添加索引,会导致表被锁死!如果非要添加,那么应该先把数据表进行备份,然后进行空表添加索引。

只能通过ALTER TABLE不能create index

参数说明:

字符串创建索引方式:

1、直接创建完整索引,比较占用空间。

2、创建前缀索引,节省空间,但会增加查询扫描次数,并且不能使用覆盖索引。

3、倒序存储,在创建前缀索引,用于绕过字符串本身前缀的却分度不够的问题。

4、创建hash字段索引,查询性能稳定,有额外的存储和计算消耗。

倒序存储和hash字段索引都不支持范围查询。倒序存储的字段上创建的所有是按照倒序字符串的方式排序的。hash字段的方式也只能支持等值查询。

mysql>alter table SUser add index index1(email):包含了每个记录的整个字符串

mysql>alter table SUser add index index2(email(6)):-对于每个记录只取前6个字节

全字段索引 *** 作流程

使用的是 index1(即 email 整个字符串的索引结构),执行顺序是这样的:

1、从 index1 索引树找到满足索引值是’ zhangssxyz@xxx.com ’的这条记录,取得 ID2 的值;

2、到主键上查到主键值是 ID2 的行,判断 email 的值是正确的,将这行记录加入结果集;

3、取 index1 索引树上刚刚查到的位置的下一条记录,发现已经不满足 email=' zhangssxyz@xxx.com ’的条件了,循环结束。

前缀字段索引 *** 作流程

如果使用的是 index2(即 email(6) 索引结构),执行顺序是这样的:

1、从 index2 索引树找到满足索引值是’zhangs’的记录,找到的第一个是 ID1;

2、到主键上查到主键值是 ID1 的行,判断出 email 的值不是’ zhangssxyz@xxx.com ’,这行记录丢弃;

3、取 index2 上刚刚查到的位置的下一条记录,发现仍然是’zhangs’,取出 ID2,再到 ID 索引上取整行然后判断,这次值对了,将这行记录加入结果集;

4、重复上一步,直到在 idxe2 上取到的值不是’zhangs’时,循环结束。

倒序查询和hash字段的区别

它们的区别,主要体现在以下三个方面:

1、从占用的额外空间来看,倒序存储方式在主键索引上,不会消耗额外的存储空间,而 hash 字段方法需要增加一个字段。当然,倒序存储方式使用 4 个字节的前缀长度应该是不够的,如果再长一点,这个消耗跟额外这个 hash 字段也差不多抵消了。

2、在 CPU 消耗方面,倒序方式每次写和读的时候,都需要额外调用一次 reverse 函数,而 hash 字段的方式需要额外调用一次 crc32() 函数。如果只从这两个函数的计算复杂度来看的话,reverse 函数额外消耗的 CPU 资源会更小些。

3、从查询效率上看,使用 hash 字段方式的查询性能相对更稳定一些。因为 crc32 算出来的值虽然有冲突的概率,但是概率非常小,可以认为每次查询的平均扫描行数接近 1。而倒序存储方式毕竟还是用的前缀索引的方式,也就是说还是会增加扫描行数。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/8507338.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-17
下一篇 2023-04-17

发表评论

登录后才能评论

评论列表(0条)

保存