假如mysql数据库单表有100W行记录,都有哪些方式加快查询速度

假如mysql数据库单表有100W行记录,都有哪些方式加快查询速度,第1张

添加索引或者使用工具,比如Apache Spark

先安装 Apache Spark,查询数据库的速度可以提升10倍。

在已有的 MySQL 服务器之上使用 Apache Spark (无需将数据导出到 Spark 或者 Hadoop 平台上),这样至少可以提升 10 倍的查询性能。使用多个 MySQL 服务器(复制或者 Percona XtraDB Cluster)可以让我们在某些查询上得到额外的性能提升。你也可以使用 Spark 的缓存功能来缓存整个 MySQL 查询结果表。

思路很简单:Spark 可以通过 JDBC 读取 MySQL 上的数据,也可以执行 SQL 查询,因此我们可以直接连接到 MySQL 并执行查询。那么为什么速度会快呢?对一些需要运行很长时间的查询(如报表或者BI),由于 Spark 是一个大规模并行系统,因此查询会非常的快。MySQL 只能为每一个查询分配一个 CPU 核来处理,而 Spark 可以使用所有集群节点的所有核。在下面的例子中,我们会在 Spark 中执行 MySQL 查询,这个查询速度比直接在 MySQL 上执行速度要快 5 到 10 倍。

另外,Spark 可以增加“集群”级别的并行机制,在使用 MySQL 复制或者 Percona XtraDB Cluster 的情况下,Spark 可以把查询变成一组更小的查询(有点像使用了分区表时可以在每个分区都执行一个查询),然后在多个 Percona XtraDB Cluster 节点的多个从服务器上并行的执行这些小查询。最后它会使用map/reduce 方式将每个节点返回的结果聚合在一起形成完整的结果。

从题主的分组汇兑语句来看,基本上没有什么可以优化的地方。

如果SYMBOL字段='AUDNZD.COM'所占的记录行数不是非常多的话,可以尝试为SYMBOL字段添加索引,速查询速度会有所提高

在做客户关系管理系统的时候遇到联表查询,速度特别慢,导致页面加载时间过长而出现错误。在上网查询后发现建立索引可以优化查询

在没有建立索引的时候

select c.*,s.* from crm_cu_re c join crm_cu_info s on c.CUS_MAIN_ID=s.CUS_MAIN_ID)

查询结果

(526 row(s) returned)

Total Time : 00:01:15:723

仅仅526条记录!!!查询花了近66秒!!!!!!!

尝试建立索引

create index main on crm_custerm_info(CUS_MAIN_ID);

再次用相同的语句查询

select c.*,s.* fromcrm_cu_re c join crm_cu_info s on _MAIN_ID=s.CUS_MAIN_ID)

查询结果

(526 row(s) returned)

Total Time : 00:00:00:234

同样的526条记录查询花费时间不到1秒!!!效率提高无数倍。

相同的如果按cus_main_id跟新 crm_cu_info表

在没有建立索引前 执行 update crm_cu_info set C_NAME ="22" WHERE CUS_MAIN_ID ='xxxxxx'

(1 row(s) affected)

Execution Time : 00:00:00:546

Transfer Time : 00:00:00:000

Total Time : 00:00:00:546

建立索引后 create index main on crm_cu_info(CUS_MAIN_ID);

(0 row(s) affected)

Execution Time : 00:00:00:000

Transfer Time : 00:00:00:016

Total Time : 00:00:00:016

效率明显提高很多

由此可见索引是快速搜索的关键。MySQL索引的建立对于MySQL的高效运行是很重要的。下面几种常见的MySQL索引类型。

在数据库表中,对字段建立索引可以大大提高查询速度。假如我们创建了一个 mytable表:

CREATE TABLE mytable( ID INT NOT NULL,username VARCHAR(16) NOT NULL ) 我们随机向里面插入了10000条记录,其中有一条:5555,admin。

在查找username="admin"的记录 SELECT * FROMmytable WHERE

username='admin'时,如果在username上已经建立了索引,MySQL无须任何扫描,即准确可找到该记录。相反,MySQL会扫描

所有记录,即要查询10000条记录。

索引分单列索引和组合索引。单列索引,即一个索引只包含单个列,一个表可以有多个单列索引,但这不是组合索引。组合索引,即一个索包含多个列。

MySQL索引类型包括:

(1)普通索引

这是最基本的索引,它没有任何限制。它有以下几种创建方式:

◆创建索引

CREATE INDEX indexName ONmytable(username(length))如果是CHAR,VARCHAR类型,length可以小于字段实际长度;如果是BLOB和TEXT类型,必须指定 length,下同。

◆修改表结构

ALTER mytable ADD INDEX [indexName] ON(username(length)) ◆创建表的时候直接指定

CREATE TABLE mytable( ID INT NOT NULL,username VARCHAR(16)

NOT NULL, INDEX [indexName] (username(length)) ) 删除索引的语法:

DROP INDEX [indexName] ON mytable

(2)唯一索引

它与前面的普通索引类似,不同的就是:索引列的值必须唯一,但允许有空值。如果是组合索引,则列值的组合必须唯一。它有以下几种创建方式:

◆创建索引

CREATE UNIQUE INDEX indexName ONmytable(username(length)) ◆修改表结构

ALTER mytable ADD UNIQUE [indexName] ON(username(length)) ◆创建表的时候直接指定

CREATE TABLE mytable( ID INT NOT NULL,username VARCHAR(16) NOT NULL, UNIQUE [indexName] (username(length)) )

(3)主键索引

它是一种特殊的唯一索引,不允许有空值。一般是在建表的时候同时创建主键索引:

CREATE TABLE mytable( ID INT NOT NULL,username VARCHAR(16)

NOT NULL, PRIMARY KEY(ID) ) 当然也可以用 ALTER 命令。记住:一个表只能有一个主键。

(4)组合索引

为了形象地对比单列索引和组合索引,为表添加多个字段:

CREATE TABLE mytable( ID INT NOT NULL,username VARCHAR(16)

NOT NULL, city VARCHAR(50) NOT NULL, age INT NOT NULL )

为了进一步榨取MySQL的效率,就要考虑建立组合索引。就是将 name, city, age建到一个索引里:

ALTER TABLE mytable ADD INDEX name_city_age(name(10),city,age)

建表时,usernname长度为 16,这里用

10。这是因为一般情况下名字的长度不会超过10,这样会加速索引查询速度,还会减少索引文件的大小,提高INSERT的更新速度。

如果分别在 usernname,city,age上建立单列索引,让该表有3个单列索引,查询时和上述的组合索引效率也会大不一样,远远低于我们的组合索引。虽然此时有了三个索引,但MySQL只能用到其中的那个它认为似乎是最有效率的单列索引。

建立这样的组合索引,其实是相当于分别建立了下面三组组合索引:

usernname,city,age usernname,city usernname 为什么没有

city,age这样的组合索引呢?这是因为MySQL组合索引“最左前缀”的结果。简单的理解就是只从最左面的开始组合。并不是只要包含这三列的查询都

会用到该组合索引,下面的几个SQL就会用到这个组合索引:

SELECT * FROM mytable WHREEusername="admin" AND city="郑州" SELECT * FROM mytable WHREEusername="admin" 而下面几个则不会用到:

SELECT * FROM mytable WHREE age=20 ANDcity="郑州" SELECT * FROM mytableWHREE city="郑州"

(5)建立索引的时机

到这里我们已经学会了建立索引,那么我们需要在什么情况下建立索引呢?一般来说,在WHERE和JOIN中出现的列需要建立索引,但也不完全如此,

因为MySQL只对<,<=,=,>,>=,BETWEEN,IN,以及某些时候的LIKE才会使用索引。例如:

SELECT t.Name FROM mytable t LEFT JOIN mytable mON

t.Name=m.username WHERE m.age=20 ANDm.city='郑州'

此时就需要对city和age建立索引,由于mytable表的userame也出现在了JOIN子句中,也有对它建立索引的必要。

刚才提到只有某些时候的LIKE才需建立索引。因为在以通配符%和_开头作查询时,MySQL不会使用索引。例如下句会使用索引:

SELECT * FROM mytable WHERE usernamelike'admin%' 而下句就不会使用:

SELECT * FROM mytable WHEREt Namelike'%admin' 因此,在使用LIKE时应注意以上的区别。

(6)索引的不足之处

上面都在说使用索引的好处,但过多的使用索引将会造成滥用。因此索引也会有它的缺点:

◆虽然索引大大提高了查询速度,同时却会降低更新表的速度,如对表进行INSERT、UPDATE和DELETE。因为更新表时,MySQL不仅要保存数据,还要保存一下索引文件。

◆建立索引会占用磁盘空间的索引文件。一般情况这个问题不太严重,但如果你在一个大表上创建了多种组合索引,索引文件的会膨胀很快。

索引只是提高效率的一个因素,如果你的MySQL有大数据量的表,就需要花时间研究建立最优秀的索引,或优化查询语句。

(7)使用索引的注意事项

使用索引时,有以下一些技巧和注意事项:

◆索引不会包含有NULL值的列

只要列中包含有NULL值都将不会被包含在索引中,复合索引中只要有一列含有NULL值,那么这一列对于此复合索引就是无效的。所以我们在数据库设计时不要让字段的默认值为NULL。

◆使用短索引

对串列进行索引,如果可能应该指定一个前缀长度。例如,如果有一个CHAR(255)的列,如果在前10个或20个字符内,多数值是惟一的,那么就不要对整个列进行索引。短索引不仅可以提高查询速度而且可以节省磁盘空间和I/O *** 作。

◆索引列排序

MySQL查询只使用一个索引,因此如果where子句中已经使用了索引的话,那么order by中的列是不会使用索引的。因此数据库默认排序可以符合要求的情况下不要使用排序 *** 作;尽量不要包含多个列的排序,如果需要最好给这些列创建复合索引。

◆like语句 *** 作

一般情况下不鼓励使用like *** 作,如果非使用不可,如何使用也是一个问题。like “%aaa%”不会使用索引而like “aaa%”可以使用索引。

◆不要在列上进行运算

select * from users whereYEAR(adddate)<2007将在每个行上进行运算,这将导致索引失效而进行全表扫描,因此我们可以改成

select * from users whereadddate<‘2007-01-01’

◆不使用NOT IN和<> *** 作


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/8456454.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-16
下一篇 2023-04-16

发表评论

登录后才能评论

评论列表(0条)

保存