1、优化sql和索引。
2、加缓存,memcached,redis。
3、以上都做了后,还是慢,就做主从复制或主主复制,读写分离,可以在应用层做,效率高,也可以用三方工具,第三方工具推荐360的atlas,其它的要么效率不高,要么没人维护。
4、以上都做了还是慢,不要想着去做切分,mysql自带分区表,先试试这个,对应用是透明的,无需更改代码,sql语句是需要针对分区表做优化的,sql条件中要带上分区条件的列,从而使查询定位到少量的分区上,否则就会扫描全部分区。
5、以上都做了,那就先做垂直拆分,其实就是根据模块的耦合度,将一个大的系统分为多个小的系统,也就是分布式系统。
6、水平切分,针对数据量大的表,这一步最麻烦,最能考验技术水平,要选择一个合理的shardingkey,为了有好的查询效率,表结构也要改动,做一定的冗余,应用也要改,sql中尽量带shardingkey,将数据定位到限定的表上去查,而不是扫描全部的表。
sum(1)就是1这个数值,count(1)相当于第一列的名字,虽然统计行结果是一样的,从效率上还是推荐count。显然对于*和name知道主键列的直接指定会更好,不知道的话用星号也无妨。CREATE?TABLE?`a`?(`id`?mediumint(8)?unsigned?NOT?NULL?AUTO_INCREMENT,`fid`?smallint(6)?unsigned?NOT?NULL?DEFAULT?'0',`cnt`?smallint(6)?unsigned?NOT?NULL?DEFAULT?'0',...
...
...
PRIMARY?KEY?(`id`),
KEY?`idx_fid`?(`fid`),
)?ENGINE=MyISAM?DEFAULT?CHARSET=utf8
表b
CREATE?TABLE?`b`?
(`fid`?smallint(6)?unsigned?NOT?NULL?AUTO_INCREMENT,`name`?char(50)?NOT?NULL?DEFAULT?'',
...
...
...
PRIMARY?KEY?(`fid`),
)?ENGINE=MyISAM?DEFAULT?CHARSET=utf8
*** 作SQL如下:
SELECT?COUNT(*)?AS?num1,?SUM(a.cnt)+COUNT(*)?AS?num2FROM?a,?b
WHERE?b.fid='10913'?AND?a.fid=b.fid
我们先看下执行计划:
我们可以看到扫描行数是229049行,执行时间:
太可怕了,运行set profiling=1,让我们看看时间主要消耗在哪里?
sending data花费的时间较长,那这段时间到底是做什么的呢?先看下这个吧:http://renxijun.blog.sohu.com/82906360.html意思是它在为select语句准备数据,解决办法:
建索引:
create index idx_fid_cnt on a (fid,cnt)
再看下,执行计划和执行时间:
总结:使用恰当的索引,是sql的效率倍增,类似sum的函数还有min(),max(),这些都需要在字段上建索引。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)