mysql对千万级的大表怎么优化

mysql对千万级的大表怎么优化,第1张

MySQL 对于千万级的大表的优化:

常用的优化sql----突出快字,使完成 *** 作的时间最短

1、用索引提高效率:

2、选择有效率的表名顺序,及数据结构及字段;

3、使用DECODE函数可以避免重复扫描相同记录或重复连接相同的表;

4、删除重复记;

5、过内部函数提高SQL效率;......

读写分离----- *** 作不在一个表里完成

1、主数据库A,进行事务性增、改、删 *** 作(INSERT、UPDATE、DELETE);

2、从数据库B,进行SELECT查询 *** 作;

3、A复制到B,使数据保持一致性;

垂直划分 ------数据不存储在一个服务器里

按照功能划分,把数据分别放到不同的数据库和服务器。如博客功能的放到服务器A,储存文件放到服务器B;

水平划分------相同数据结构的数据不放在一张表里

把一个表的数据根据一定的规则划分到不同的数据库,两个数据库的表结构一样。

数据归档处理-----时间优先原则存储读取

将数据库中不经常使用的数据迁移至近线设备,将长期不使用的数据迁移至文件形式归档。这样,随着应用的需要,数据会在在线、近线和文件文档之间移动,如当应用需要访问很久以前的某些数据,它们的物理位置在近线设备,则会自动移动到在线设备。对用户的应用而言,这些都是透明的,就像所有数据都存放在在线设备一样,不会对数据库应用产生任何影响。

我google了一下大概有一下几个方法,

1.复制表结构及数据到新表

CREATE TABLE 新表 SELECT * FROM 旧表

2.只复制表结构到新表

CREATE TABLE 新表 SELECT * FROM 旧表 WHERE 1=2

即:让WHERE条件不成立.

3.复制旧表的数据到新表(假设两个表结构一样)

INSERT INTO 新表 SELECT * FROM 旧表

4.复制旧表的数据到新表(假设两个表结构不一样)

INSERT INTO 新表(字段1,字段2,.......) SELECT 字段1,字段2,...... FROM 旧表

第一优化你的sql和索引;

第二加缓存,memcached,redis;

第三以上都做了后,还是慢,就做主从复制或主主复制,读写分离,可以在应用层做,效率高,也可以用三方工具,第三方工具推荐360的atlas,其它的要么效率不高,要么没人维护;

第四如果以上都做了还是慢,不要想着去做切分,mysql自带分区表,先试试这个,对你的应用是透明的,无需更改代码,但是sql语句是需要针对分区表做优化的,sql条件中要带上分区条件的列,从而使查询定位到少量的分区上,否则就会扫描全部分区,另外分区表还有一些坑,在这里就不多说了;

第五如果以上都做了,那就先做垂直拆分,其实就是根据你模块的耦合度,将一个大的系统分为多个小的系统,也就是分布式系统;

第六才是水平切分,针对数据量大的表,这一步最麻烦,最能考验技术水平,要选择一个合理的sharding key,为了有好的查询效率,表结构也要改动,做一定的冗余,应用也要改,sql中尽量带sharding key,将数据定位到限定的表上去查,而不是扫描全部的表;

mysql数据库一般都是按照这个步骤去演化的,成本也是由低到高;


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/7182676.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-02
下一篇 2023-04-02

发表评论

登录后才能评论

评论列表(0条)

保存