mysql表很大sum不全

mysql表很大sum不全,第1张

mysql表很大sum不全的解决办法:

1、优化sql和索引

2、加缓存,memcached,redis。

3、以上都做了后,还是慢,就做主从复制或主主复制,读写分离,可以在应用层做,效率高,也可以用三方工具,第三方工具推荐360的atlas,其它的要么效率不高,要么没人维护。

4、以上都做了还是慢,不要想着去做切分,mysql自带分区表,先试试这个,对应用是透明的,无需更改代码,sql语句是需要针对分区表做优化的,sql条件中要带上分区条件的列,从而使查询定位到少量的分区上,否则就会扫描全部分区。

5、以上都做了,那就先做垂直拆分,其实就是根据模块的耦合度,将一个大的系统分为多个小的系统,也就是分布式系统。

6、水平切分,针对数据量大的表,这一步最麻烦,最能考验技术水平,要选择一个合理的shardingkey,为了有好的查询效率,表结构也要改动,做一定的冗余,应用也要改,sql中尽量带shardingkey,将数据定位到限定的表上去查,而不是扫描全部的表。

本来你的语句很漂亮,用不着优化。如果你实在很关心性能,可以在WHERE部分限制一下【净入库.`入库日期`】的时间范围在1~9月,避免全表浏览,如果该字段有索引,可以快一点点。

AND 净入库.`入库日期`  BETWEEN  '2016-01-01 00:00:00.0' AND '2016-09-30 00:00:00.0'

SELECT

zc.纳税人名称,

sum(CASE

WHEN  净入库.`征收项目` = '城镇土地使用税' THEN

净入库.实缴金额

ELSE

0

END) 土地使用税,

sum(CASE

WHEN  净入库.`征收项目` = '房产税' THEN

净入库.实缴金额

ELSE

0

END) 房产税

FROM

清册 zc,

净入库

WHERE

 zc.`登记序号` =净入库.登记序号

 AND 净入库.`入库日期`  BETWEEN  '2016-01-01 00:00:00.0' AND '2016-09-30 00:00:00.0'

group by  zc.`登记序号`

CREATE?TABLE?`a`?(

`id`?mediumint(8)?unsigned?NOT?NULL?AUTO_INCREMENT,`fid`?smallint(6)?unsigned?NOT?NULL?DEFAULT?'0',`cnt`?smallint(6)?unsigned?NOT?NULL?DEFAULT?'0',...

...

...

PRIMARY?KEY?(`id`),

KEY?`idx_fid`?(`fid`),

)?ENGINE=MyISAM?DEFAULT?CHARSET=utf8

表b

CREATE?TABLE?`b`?

(`fid`?smallint(6)?unsigned?NOT?NULL?AUTO_INCREMENT,`name`?char(50)?NOT?NULL?DEFAULT?'',

...

...

...

PRIMARY?KEY?(`fid`),

)?ENGINE=MyISAM?DEFAULT?CHARSET=utf8

*** 作SQL如下:

SELECT?COUNT(*)?AS?num1,?SUM(a.cnt)+COUNT(*)?AS?num2FROM?a,?b

WHERE?b.fid='10913'?AND?a.fid=b.fid

我们先看下执行计划:

我们可以看到扫描行数是229049行,执行时间:

太可怕了,运行set profiling=1,让我们看看时间主要消耗在哪里?

sending data花费的时间较长,那这段时间到底是做什么的呢?先看下这个吧:http://renxijun.blog.sohu.com/82906360.html意思是它在为select语句准备数据,解决办法:

建索引:

create index idx_fid_cnt on a (fid,cnt)

再看下,执行计划和执行时间:

总结:使用恰当的索引,是sql的效率倍增,类似sum的函数还有min(),max(),这些都需要在字段上建索引。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5908666.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-03-08
下一篇 2023-03-08

发表评论

登录后才能评论

评论列表(0条)

保存