你经常查询的,经常分组的,经常判断的
字段
,必须加
索引
,增加索引后,查询速度会大幅度提高,但是插入,更新,删除速度会变慢,总而言之,总有一个慢,你权衡是数据插入,更新,删除多还是查询多,决定是否增加索引,非经常查询字段就不要增加索引了,以免浪费
数据空间
和增加插入,更新,删除的时间
另外,如果数据按时间增长,由于你使用的是SQL2000,建议将
大表
拆开每日保存一张
日表
,缩小单张表的大小,在表内查询就会快很多(因为读进
内存
的数据小多了),实现分区的功能;如果使用SQL2005,则数据库可以直接支持分区
这样就
没有问题
了,我们这处理的数据每天4000
万行
,保存了50天数据,查询起来也只要5分钟
你的数据库是什么数据库?如果是ACCESS,建议你导入到MySQL中去,MySQL据说是世界上执行速度最快的数据库了,如果是MSSQL,请使用存储过程执行查询,可以大提高数据库的运行速度。你的问题我曾经碰到过,当时我使用的是ACCESS数据库,数据库中的数据达到20万条记录了,查询起来速度特慢,后来改用MSSQL的存储过程,速度提高了很多,你试试吧,祝你成功!
添加索引或者使用工具,比如Apache Spark
先安装 Apache Spark,查询数据库的速度可以提升10倍。
在已有的 MySQL 服务器之上使用 Apache Spark (无需将数据导出到 Spark 或者 Hadoop 平台上),这样至少可以提升 10 倍的查询性能。使用多个 MySQL 服务器(复制或者 Percona XtraDB Cluster)可以让我们在某些查询上得到额外的性能提升。你也可以使用 Spark 的缓存功能来缓存整个 MySQL 查询结果表。
思路很简单:Spark 可以通过 JDBC 读取 MySQL 上的数据,也可以执行 SQL 查询,因此我们可以直接连接到 MySQL 并执行查询。那么为什么速度会快呢?对一些需要运行很长时间的查询(如报表或者BI),由于 Spark 是一个大规模并行系统,因此查询会非常的快。MySQL 只能为每一个查询分配一个 CPU 核来处理,而 Spark 可以使用所有集群节点的所有核。在下面的例子中,我们会在 Spark 中执行 MySQL 查询,这个查询速度比直接在 MySQL 上执行速度要快 5 到 10 倍。
另外,Spark 可以增加“集群”级别的并行机制,在使用 MySQL 复制或者 Percona XtraDB Cluster 的情况下,Spark 可以把查询变成一组更小的查询(有点像使用了分区表时可以在每个分区都执行一个查询),然后在多个 Percona XtraDB Cluster 节点的多个从服务器上并行的执行这些小查询。最后它会使用map/reduce 方式将每个节点返回的结果聚合在一起形成完整的结果。
查询分析的执行速度快于应用程序,主要原因在于应用程序查询的时候,需要调用对应的数据库接口驱动程序,如odbc,jdbc等,使得应用程序能够与数据库本身能够交互,这一块一般无法进行优化,可以优化的地方一般是在建立数据库的时候,数据库的逻辑结构和物理结构的优劣直接影响一个系统的性能如何。
以上就是关于SQL2000数据库,如何提高对一个庞大的表的查询速度全部的内容,包括:SQL2000数据库,如何提高对一个庞大的表的查询速度、数据库记录太多,有什么办法可以提高查询速度、假如mysql数据库单表有100W行记录,都有哪些方式加快查询速度等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)