先安装 Apache Spark,查询数据库的速度可以提升10倍。
在已有的 MySQL 服务器之上使用 Apache Spark (无需将数据导出到 Spark 或者 Hadoop 平台上),这样至少可以提升 10 倍的查询性能。使用多个 MySQL 服务器(复制或者 Percona XtraDB Cluster)可以让我们在某些查询上得到额外的性能提升。你也可以使用 Spark 的缓存功能来缓存整个 MySQL 查询结果表。
思路很简单:Spark 可以通过 JDBC 读取 MySQL 上的数据,也可以执行 SQL 查询,因此我们可以直接连接到 MySQL 并执行查询。那么为什么速度会快呢?对一些需要运行很长时间的查询(如报表或者BI),由于 Spark 是一个大规模并行系统,因此查询会非常的快。MySQL 只能为每一个查询分配一个 CPU 核来处理,而 Spark 可以使用所有集群节点的所有核。在下面的例子中,我们会在 Spark 中执行 MySQL 查询,这个查询速度比直接在 MySQL 上执行速度要快 5 到 10 倍。
另外,Spark 可以增加“集群”级别的并行机制,在使用 MySQL 复制或者 Percona XtraDB Cluster 的情况下,Spark 可以把查询变成一组更小的查询(有点像使用了分区表时可以在每个分区都执行一个查询),然后在多个 Percona XtraDB Cluster 节点的多个从服务器上并行的执行这些小查询。最后它会使用map/reduce 方式将每个节点返回的结果聚合在一起形成完整的结果。
从题主的分组汇兑语句来看,基本上没有什么可以优化的地方。如果SYMBOL字段='AUDNZD.COM'所占的记录行数不是非常多的话,可以尝试为SYMBOL字段添加索引,速查询速度会有所提高
在做客户关系管理系统的时候遇到联表查询,速度特别慢,导致页面加载时间过长而出现错误。在上网查询后发现建立索引可以优化查询在没有建立索引的时候
select c.*,s.* from crm_cu_re c join crm_cu_info s on c.CUS_MAIN_ID=s.CUS_MAIN_ID)
查询结果
(526 row(s) returned)
Total Time : 00:01:15:723
仅仅526条记录!!!查询花了近66秒!!!!!!!
尝试建立索引
create index main on crm_custerm_info(CUS_MAIN_ID);
再次用相同的语句查询
select c.*,s.* fromcrm_cu_re c join crm_cu_info s on _MAIN_ID=s.CUS_MAIN_ID)
查询结果
(526 row(s) returned)
Total Time : 00:00:00:234
同样的526条记录查询花费时间不到1秒!!!效率提高无数倍。
相同的如果按cus_main_id跟新 crm_cu_info表
在没有建立索引前 执行 update crm_cu_info set C_NAME ="22" WHERE CUS_MAIN_ID ='xxxxxx'
(1 row(s) affected)
Execution Time : 00:00:00:546
Transfer Time : 00:00:00:000
Total Time : 00:00:00:546
建立索引后 create index main on crm_cu_info(CUS_MAIN_ID);
(0 row(s) affected)
Execution Time : 00:00:00:000
Transfer Time : 00:00:00:016
Total Time : 00:00:00:016
效率明显提高很多
由此可见索引是快速搜索的关键。MySQL索引的建立对于MySQL的高效运行是很重要的。下面几种常见的MySQL索引类型。
在数据库表中,对字段建立索引可以大大提高查询速度。假如我们创建了一个 mytable表:
CREATE TABLE mytable( ID INT NOT NULL,username VARCHAR(16) NOT NULL ) 我们随机向里面插入了10000条记录,其中有一条:5555,admin。
在查找username="admin"的记录 SELECT * FROMmytable WHERE
username='admin'时,如果在username上已经建立了索引,MySQL无须任何扫描,即准确可找到该记录。相反,MySQL会扫描
所有记录,即要查询10000条记录。
索引分单列索引和组合索引。单列索引,即一个索引只包含单个列,一个表可以有多个单列索引,但这不是组合索引。组合索引,即一个索包含多个列。
MySQL索引类型包括:
(1)普通索引
这是最基本的索引,它没有任何限制。它有以下几种创建方式:
◆创建索引
CREATE INDEX indexName ONmytable(username(length))如果是CHAR,VARCHAR类型,length可以小于字段实际长度;如果是BLOB和TEXT类型,必须指定 length,下同。
◆修改表结构
ALTER mytable ADD INDEX [indexName] ON(username(length)) ◆创建表的时候直接指定
CREATE TABLE mytable( ID INT NOT NULL,username VARCHAR(16)
NOT NULL, INDEX [indexName] (username(length)) ) 删除索引的语法:
DROP INDEX [indexName] ON mytable
(2)唯一索引
它与前面的普通索引类似,不同的就是:索引列的值必须唯一,但允许有空值。如果是组合索引,则列值的组合必须唯一。它有以下几种创建方式:
◆创建索引
CREATE UNIQUE INDEX indexName ONmytable(username(length)) ◆修改表结构
ALTER mytable ADD UNIQUE [indexName] ON(username(length)) ◆创建表的时候直接指定
CREATE TABLE mytable( ID INT NOT NULL,username VARCHAR(16) NOT NULL, UNIQUE [indexName] (username(length)) )
(3)主键索引
它是一种特殊的唯一索引,不允许有空值。一般是在建表的时候同时创建主键索引:
CREATE TABLE mytable( ID INT NOT NULL,username VARCHAR(16)
NOT NULL, PRIMARY KEY(ID) ) 当然也可以用 ALTER 命令。记住:一个表只能有一个主键。
(4)组合索引
为了形象地对比单列索引和组合索引,为表添加多个字段:
CREATE TABLE mytable( ID INT NOT NULL,username VARCHAR(16)
NOT NULL, city VARCHAR(50) NOT NULL, age INT NOT NULL )
为了进一步榨取MySQL的效率,就要考虑建立组合索引。就是将 name, city, age建到一个索引里:
ALTER TABLE mytable ADD INDEX name_city_age(name(10),city,age)
建表时,usernname长度为 16,这里用
10。这是因为一般情况下名字的长度不会超过10,这样会加速索引查询速度,还会减少索引文件的大小,提高INSERT的更新速度。
如果分别在 usernname,city,age上建立单列索引,让该表有3个单列索引,查询时和上述的组合索引效率也会大不一样,远远低于我们的组合索引。虽然此时有了三个索引,但MySQL只能用到其中的那个它认为似乎是最有效率的单列索引。
建立这样的组合索引,其实是相当于分别建立了下面三组组合索引:
usernname,city,age usernname,city usernname 为什么没有
city,age这样的组合索引呢?这是因为MySQL组合索引“最左前缀”的结果。简单的理解就是只从最左面的开始组合。并不是只要包含这三列的查询都
会用到该组合索引,下面的几个SQL就会用到这个组合索引:
SELECT * FROM mytable WHREEusername="admin" AND city="郑州" SELECT * FROM mytable WHREEusername="admin" 而下面几个则不会用到:
SELECT * FROM mytable WHREE age=20 ANDcity="郑州" SELECT * FROM mytableWHREE city="郑州"
(5)建立索引的时机
到这里我们已经学会了建立索引,那么我们需要在什么情况下建立索引呢?一般来说,在WHERE和JOIN中出现的列需要建立索引,但也不完全如此,
因为MySQL只对<,<=,=,>,>=,BETWEEN,IN,以及某些时候的LIKE才会使用索引。例如:
SELECT t.Name FROM mytable t LEFT JOIN mytable mON
t.Name=m.username WHERE m.age=20 ANDm.city='郑州'
此时就需要对city和age建立索引,由于mytable表的userame也出现在了JOIN子句中,也有对它建立索引的必要。
刚才提到只有某些时候的LIKE才需建立索引。因为在以通配符%和_开头作查询时,MySQL不会使用索引。例如下句会使用索引:
SELECT * FROM mytable WHERE usernamelike'admin%' 而下句就不会使用:
SELECT * FROM mytable WHEREt Namelike'%admin' 因此,在使用LIKE时应注意以上的区别。
(6)索引的不足之处
上面都在说使用索引的好处,但过多的使用索引将会造成滥用。因此索引也会有它的缺点:
◆虽然索引大大提高了查询速度,同时却会降低更新表的速度,如对表进行INSERT、UPDATE和DELETE。因为更新表时,MySQL不仅要保存数据,还要保存一下索引文件。
◆建立索引会占用磁盘空间的索引文件。一般情况这个问题不太严重,但如果你在一个大表上创建了多种组合索引,索引文件的会膨胀很快。
索引只是提高效率的一个因素,如果你的MySQL有大数据量的表,就需要花时间研究建立最优秀的索引,或优化查询语句。
(7)使用索引的注意事项
使用索引时,有以下一些技巧和注意事项:
◆索引不会包含有NULL值的列
只要列中包含有NULL值都将不会被包含在索引中,复合索引中只要有一列含有NULL值,那么这一列对于此复合索引就是无效的。所以我们在数据库设计时不要让字段的默认值为NULL。
◆使用短索引
对串列进行索引,如果可能应该指定一个前缀长度。例如,如果有一个CHAR(255)的列,如果在前10个或20个字符内,多数值是惟一的,那么就不要对整个列进行索引。短索引不仅可以提高查询速度而且可以节省磁盘空间和I/O *** 作。
◆索引列排序
MySQL查询只使用一个索引,因此如果where子句中已经使用了索引的话,那么order by中的列是不会使用索引的。因此数据库默认排序可以符合要求的情况下不要使用排序 *** 作;尽量不要包含多个列的排序,如果需要最好给这些列创建复合索引。
◆like语句 *** 作
一般情况下不鼓励使用like *** 作,如果非使用不可,如何使用也是一个问题。like “%aaa%”不会使用索引而like “aaa%”可以使用索引。
◆不要在列上进行运算
select * from users whereYEAR(adddate)<2007将在每个行上进行运算,这将导致索引失效而进行全表扫描,因此我们可以改成
select * from users whereadddate<‘2007-01-01’
◆不使用NOT IN和<> *** 作
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)