MySQL 对于千万级的大表要怎么优化

提问：如何设计或优化千万级别的大表？此外无其他信息，个人觉得这个话题有点范，就只好简单说下该如何做，对于一个存储设计，必须考虑业务特点，收集的信息如下：

1数据的容量：1-3年内会大概多少条数据，每条数据大概多少字节；

2数据项：是否有大字段，那些字段的值是否经常被更新；

3数据查询SQL条件：哪些数据项的列名称经常出现在WHERE、GROUP BY、ORDER BY子句中等；

4数据更新类SQL条件：有多少列经常出现UPDATE或DELETE 的WHERE子句中；

5SQL量的统计比，如：SELECT：UPDATE+DELETE：INSERT=多少？

6预计大表及相关联的SQL，每天总的执行量在何数量级？

7表中的数据：更新为主的业务 还是 查询为主的业务

8打算采用什么数据库物理服务器，以及数据库服务器架构？

9并发如何？

10存储引擎选择InnoDB还是MyISAM？

大致明白以上10个问题，至于如何设计此类的大表，应该什么都清楚了！

至于优化若是指创建好的表，不能变动表结构的话，那建议InnoDB引擎，多利用点内存，减轻磁盘IO负载，因为IO往往是数据库服务器的瓶颈。

另外对优化索引结构去解决性能问题的话，建议优先考虑修改类SQL语句，使他们更快些，不得已只靠索引组织结构的方式，当然此话前提是， 索引已经创建的非常好，若是读为主，可以考虑打开query_cache， 以及调整一些参数值：sort_buffer_size,read_buffer_size,read_rnd_buffer_size,join_buffer_siz。

更多信息参见：

MySQL数据库服务器端核心参数详解和推荐配置

不纸上谈兵，说一下我的思路以及我的解决，抛砖引玉了

我最近正在解决这个问题

我现在的公司有三张表，是5亿的数据，每天张表每天的增量是100w

每张表大概在10个columns左右

下面是我做的测试和对比

1首先看engine,在大数据量情况下，在没有做分区的情况下

mysiam比innodb在只读的情况下，效率要高13％左右

2在做了partition之后，你可以去读一下mysql的官方文档，其实对于partition，专门是对myisam做的优化，对于innodb，所有的数据是存在ibdata里面的，所以即使你可以看到schema变了，其实没有本质的变化

在分区出于同一个physical disk下面的情况下，提升大概只有1％

在分区在不同的physical disk下，我分到了三个不同的disks下，提升大概在3％，其实所谓的吞吐量，由很多因素决定的，比如你的explain parition时候可以看到，record在那一个分区，如果每个分区都有，其实本质上没有解决读的问题，这样只会提升写的效率。

另外一个问题在于，分区，你怎么分，如果一张表，有三个column都是经常被用于做查询条件的，其实是一件很悲惨的事情，因为你没有办法对所有的sql做针对性的分区，如果你只是如mysql官方文档上说的，只对时间做一个分区，而且你也只用时间查询的话，恭喜你

3表主要用来读还是写，其实这个问题是不充分的，应该这样问，你在写入的时候，同时并发的查询多么？我的问题还比较简单，因为mongodb的 shredding支持不能，在crush之后，还是回到mysql，所以在通常情况下，9am－9pm，写入的情况很多，这个时候我会做一个 view，view是基于最近被插入或者经常被查询的，通过做view来分离读取，就是说写是在table上的，读在进行逻辑判断前是在view上 *** 作的

4做一些archive table，比如先对这些大表做很多已有的统计分析，然后通过已有的分析＋增量来解决

5如果你用mysiam，还有一个问题你要注意，如果你的configure的时候，加了一个max index length参数的时候，当你的record数大于制定长度的时候，这个index会被disable

1、优化设计的技巧

(1) 如果一个字段需要经常更改，则采用以空间换时间的设计方法

最常见的例子是用户积分登录次数的累加，按照范式设计，在users表中建立一个字段us_scores,以后需要在用户积分改变时采用update的语句进行修改。但是知道 update语句的执行速度是很慢的，为了避免大量重复使用它，优化的设计方案是建立us_scores表，存储每次增加的积分，在查询是采用SQL语句的sum方法来计算之。

(2) 关联字段类型尽可能定义为数字类型

(3) 表的序列字段必须是数字类型

(4) 若数据库有移植的可能性，不使用存储过程及触发器

(5) 建立恰当的索引

索引的建立是加快数据库查询的基本技巧之一，通常的建议是，只有百万级的记录的表格才应该建立索引。

，命名都应该作为非常重要的事情来看待，表、序列、字段、索引的命名技巧可以归结如下：

(1) 关联字段名称必须相同，名称以基础表的字段名称为准

(2) 序列名字跟表字段名字相同

(3) 关联表的名称应该是被关联的表用“_”连接起来组成的

(4) 字段定义的前两位是表名的缩写，第三位是下划线

一，保证规范，序列名称必须是唯一的，而且，一般的序列就是这个表的id字段。如果不加前缀，那么字段都叫做id就会违背惟一性原则。

第二，为了将来关联查询语句的书写方便。

(5) 索引的名字和表的名字相同

(6) 常用字段采用固定定义

为了提高大数据量的表格的查询速度，可以采用建立适当的索引方式。如果一个表只有一个索引，建议索引的名字跟表相同，如果有多个索引，则为表名称加下划线加索引列名称。

最安全的设计方案是，Web数据库和测试数据库分离。Web数据库权限只被管理员一个人掌握。

关于MySQL数据库设计

的优化措施还需要经过数据库设计人员的不断发掘，从数据库设计中不断的发现问题，提出解决问题的方法，才能将数据库的性能优化的更好更全面。

在开始演示之前，我们先介绍下两个概念。

概念一，数据的可选择性基数，也就是常说的cardinality值。

查询优化器在生成各种执行计划之前，得先从统计信息中取得相关数据，这样才能估算每步 *** 作所涉及到的记录数，而这个相关数据就是cardinality。简单来说，就是每个值在每个字段中的唯一值分布状态。

比如表t1有100行记录，其中一列为f1。f1中唯一值的个数可以是100个，也可以是1个，当然也可以是1到100之间的任何一个数字。这里唯一值越的多少，就是这个列的可选择基数。

那看到这里我们就明白了，为什么要在基数高的字段上建立索引，而基数低的的字段建立索引反而没有全表扫描来的快。当然这个只是一方面，至于更深入的探讨就不在我这篇探讨的范围了。

概念二，关于HINT的使用。

这里我来说下HINT是什么，在什么时候用。

HINT简单来说就是在某些特定的场景下人工协助MySQL优化器的工作，使她生成最优的执行计划。一般来说，优化器的执行计划都是最优化的，不过在某些特定场景下，执行计划可能不是最优化。

比如：表t1经过大量的频繁更新 *** 作，（UPDATE,DELETE,INSERT），cardinality已经很不准确了，这时候刚好执行了一条SQL，那么有可能这条SQL的执行计划就不是最优的。为什么说有可能呢？

来看下具体演示

譬如，以下两条SQL，

A：

select from t1 where f1 = 20;

B：

select from t1 where f1 = 30;

如果f1的值刚好频繁更新的值为30，并且没有达到MySQL自动更新cardinality值的临界值或者说用户设置了手动更新又或者用户减少了sample page等等，那么对这两条语句来说，可能不准确的就是B了。

这里顺带说下，MySQL提供了自动更新和手动更新表cardinality值的方法，因篇幅有限，需要的可以查阅手册。

那回到正题上，MySQL 80 带来了几个HINT，我今天就举个index_merge的例子。

示例表结构：

mysql> desc t1;+------------+--------------+------+-----+---------+----------------+| Field      | Type         | Null | Key | Default | Extra          |+------------+--------------+------+-----+---------+----------------+| id         | int(11)      | NO   | PRI | NULL    | auto_increment || rank1      | int(11)      | YES  | MUL | NULL    |                || rank2      | int(11)      | YES  | MUL | NULL    |                || log_time   | datetime     | YES  | MUL | NULL    |                || prefix_uid | varchar(100) | YES  |     | NULL    |                || desc1      | text         | YES  |     | NULL    |                || rank3      | int(11)      | YES  | MUL | NULL    |                |+------------+--------------+------+-----+---------+----------------+7 rows in set (000 sec)

表记录数：

mysql> select count() from t1;+----------+| count() |+----------+|    32768 |+----------+1 row in set (001 sec)

这里我们两条经典的SQL：

SQL C：

select from t1 where rank1 = 1 or rank2 = 2 or rank3 = 2;

SQL D：

select from t1 where rank1 =100  and rank2 =100  and rank3 =100;

表t1实际上在rank1,rank2,rank3三列上分别有一个二级索引。

那我们来看SQL C的查询计划。

显然，没有用到任何索引，扫描的行数为32034，cost为324365。

mysql> explain  format=json select from t1  where rank1 =1 or rank2 = 2 or rank3 = 2\G 1 row EXPLAIN: {  "query_block": {    "select_id": 1,    "cost_info": {      "query_cost": "324365"    },    "table": {      "table_name": "t1",      "access_type": "ALL",      "possible_keys": [        "idx_rank1",        "idx_rank2",        "idx_rank3"      ],      "rows_examined_per_scan": 32034,      "rows_produced_per_join": 115,      "filtered": "036",      "cost_info": {        "read_cost": "323207",        "eval_cost": "1158",        "prefix_cost": "324365",        "data_read_per_join": "49K"      },      "used_columns": [        "id",        "rank1",        "rank2",        "log_time",        "prefix_uid",        "desc1",        "rank3"      ],      "attached_condition": "((`ytt``t1``rank1` = 1) or (`ytt``t1``rank2` = 2) or (`ytt``t1``rank3` = 2))"    }  }}1 row in set, 1 warning (000 sec)

我们加上hint给相同的查询，再次看看查询计划。

这个时候用到了index_merge,union了三个列。扫描的行数为1103，cost为44109，明显比之前的快了好几倍。

mysql> explain  format=json select /+ index_merge(t1) / from t1  where rank1 =1 or rank2 = 2 or rank3 = 2\G 1 row EXPLAIN: {  "query_block": {    "select_id": 1,    "cost_info": {      "query_cost": "44109"    },    "table": {      "table_name": "t1",      "access_type": "index_merge",      "possible_keys": [        "idx_rank1",        "idx_rank2",        "idx_rank3"      ],      "key": "union(idx_rank1,idx_rank2,idx_rank3)",      "key_length": "5,5,5",      "rows_examined_per_scan": 1103,      "rows_produced_per_join": 1103,      "filtered": "10000",      "cost_info": {        "read_cost": "33079",        "eval_cost": "11030",        "prefix_cost": "44109",        "data_read_per_join": "473K"      },      "used_columns": [        "id",        "rank1",        "rank2",        "log_time",        "prefix_uid",        "desc1",        "rank3"      ],      "attached_condition": "((`ytt``t1``rank1` = 1) or (`ytt``t1``rank2` = 2) or (`ytt``t1``rank3` = 2))"    }  }}1 row in set, 1 warning (000 sec)

我们再看下SQL D的计划：

不加HINT，

mysql> explain format=json select from t1 where rank1 =100 and rank2 =100 and rank3 =100\G 1 row EXPLAIN: {  "query_block": {    "select_id": 1,    "cost_info": {      "query_cost": "53434"    },    "table": {      "table_name": "t1",      "access_type": "ref",      "possible_keys": [        "idx_rank1",        "idx_rank2",        "idx_rank3"      ],      "key": "idx_rank1",      "used_key_parts": [        "rank1"      ],      "key_length": "5",      "ref": [        "const"      ],      "rows_examined_per_scan": 555,      "rows_produced_per_join": 0,      "filtered": "007",      "cost_info": {        "read_cost": "47884",        "eval_cost": "004",        "prefix_cost": "53434",        "data_read_per_join": "176"      },      "used_columns": [        "id",        "rank1",        "rank2",        "log_time",        "prefix_uid",        "desc1",        "rank3"      ],      "attached_condition": "((`ytt``t1``rank3` = 100) and (`ytt``t1``rank2` = 100))"    }  }}1 row in set, 1 warning (000 sec)

加了HINT，

mysql> explain format=json select /+ index_merge(t1)/ from t1 where rank1 =100 and rank2 =100 and rank3 =100\G 1 row EXPLAIN: {  "query_block": {    "select_id": 1,    "cost_info": {      "query_cost": "523"    },    "table": {      "table_name": "t1",      "access_type": "index_merge",      "possible_keys": [        "idx_rank1",        "idx_rank2",        "idx_rank3"      ],      "key": "intersect(idx_rank1,idx_rank2,idx_rank3)",      "key_length": "5,5,5",      "rows_examined_per_scan": 1,      "rows_produced_per_join": 1,      "filtered": "10000",      "cost_info": {        "read_cost": "513",        "eval_cost": "010",        "prefix_cost": "523",        "data_read_per_join": "440"      },      "used_columns": [        "id",        "rank1",        "rank2",        "log_time",        "prefix_uid",        "desc1",        "rank3"      ],      "attached_condition": "((`ytt``t1``rank3` = 100) and (`ytt``t1``rank2` = 100) and (`ytt``t1``rank1` = 100))"    }  }}1 row in set, 1 warning (000 sec)

对比下以上两个，加了HINT的比不加HINT的cost小了100倍。

总结下，就是说表的cardinality值影响这张的查询计划，如果这个值没有正常更新的话，就需要手工加HINT了。相信MySQL未来的版本会带来更多的HINT。

mysql数据库cpu飙升800%，基本上就两种原因：

访问量大，大到你8核cpu都承受不了；

慢查询，数据库执行sql语句 *** 作（查询数据、修改数据）会产生大量的逻辑读，将读出来的数据维护到临时表中（内存），系统需要消耗较多的cpu来维持内存与磁盘数据的一致性。

大多数情况下都是开发人员对sql的把握质量不够，导致慢sql查询的产生，进而影响数据库的整体运行状况。

大量行锁冲突、行锁等待或后台任务也有可能会导致实例的CPU使用率过高，但这些情况出现的概率非常低。

当我们的数据库性能下降的厉害或者cpu飙升时候，可以进行如下 *** 作定位问题：

查询mysql进程列表

showfullprocesslist;

获取到mysql当前使用的进程：

如果进程很多，说明请求量很大，需要区分是否正常业务流量，还是代码问题导致的。

查询慢查询日志

showvariableslike'%slow_query_log%';

找到慢查询日志文件/home/mysql/data3085/mysql/

slow_querylog

，即可找到慢查询日志信息，解决这些慢sql，你的cpu一定会降下来。

避免数据库cpu飙升

实际开发过程中，我们对数据库的使用一定要小心，不能等问题发生了再去排查问题解决问题，而是要预防问题的发生，并且在问题可能发生的情况下，提前介入，避免问题扩大化。平时开发过程中需要做好一些准备工作：

增加CPU使用率告警机制，比如使用率超过80%就短信告警；

所有的sql语句必须走索引，有DBA则由DBA统一调控，没有的话开发人员先执行explain看sql执行计划，必须走索引，属于强制规则；

新功能上线必须进行压测；

日常mysql运行监控，慢查日志查看，将隐患扼杀在摇篮之中。

以上就是一些mysql稳定运行的个人看法，大家还有什么好的建议，欢迎评论去交流讨论，批评指正～

以上就是关于MySQL 对于千万级的大表要怎么优化全部的内容，包括:MySQL 对于千万级的大表要怎么优化、如何保证数据安全性 MySQL数据库设计优化技巧、求高手优化MySQL数据库，数据库反应太慢。等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！