建议实现的思路是:
(1)假设计划在一个excel文件中存放3万条记录(记录数量的大小,根据服务器的处理能力而定),70/3=24个文档,生成24个文档的链接地址,用户下载那个文档就生成那个文档在服务器的硬盘上,然后直接将下载文档推送到客户端,让用户保存或打开。
(2)生成的文档不能超过Excel2003所能容纳的最大记录数,以免强制客户必须安装Office 2007.
这样,不用从数据库中读取所有的70万条记录,用户要求那些,就读取那些记录,一是减轻了服务器的,二是提高了用户体验。
第一优化你的sql和索引;第二加缓存,memcached,redis;
第三以上都做了后,还是慢,就做主从复制或主主复制,读写分离,可以在应用层做,效率高,也可以用三方工具,第三方工具推荐360的atlas,其它的要么效率不高,要么没人维护;
第四如果以上都做了还是慢,不要想着去做切分,mysql自带分区表,先试试这个,对你的应用是透明的,无需更改代码,但是sql语句是需要针对分区表做优化的,sql条件中要带上分区条件的列,从而使查询定位到少量的分区上,否则就会扫描全部分区,另外分区表还有一些坑,在这里就不多说了;
第五如果以上都做了,那就先做垂直拆分,其实就是根据你模块的耦合度,将一个大的系统分为多个小的系统,也就是分布式系统;
第六才是水平切分,针对数据量大的表,这一步最麻烦,最能考验技术水平,要选择一个合理的sharding key,为了有好的查询效率,表结构也要改动,做一定的冗余,应用也要改,sql中尽量带sharding key,将数据定位到限定的表上去查,而不是扫描全部的表;
mysql数据库一般都是按照这个步骤去演化的,成本也是由低到高。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)