当数据库里某张表上有大量插入 *** 作时,需要在表上做 RUNSTATS 命令保证数据库掌握准确的统计信息。
当数据库里某张表中的记录变化很大时(大量插入、删除、更新 *** 作),需要在表上做 REORG 和 RUNSTATS 一组维护 *** 作来优化查询的性能。有的表,可能初始化后从来都不会有数据量变化,就只需要做一次维护;有的表,一天之内的变化就很大,每天需要做多次维护。
注意,针对数据库对象的大量 *** 作,如反复地删除表,存储过程,会引起系统表中数据的频繁改变,在这种情况下,也要考虑对系统表进行REORG *** 作。
一个完整的 REORG 表的过程应该是由下面的步骤组成的:
RUNSTATS -> REORGCHK -> REORG -> RUNSTATS -> BIND 或 REBIND
0 执行下面命令前要先连接数据库
1 RUNSTATS
由于在第二步中 REORGCHK 时可以对指定的表进行 RUNSTATS *** 作(在 REORGCHK 时指定 UPDATE STATISTICS),所以第一步是可以省略的。如果知道哪些特点的表有数据变化,又可以只执行第一步而省略第二步。
如果表名为 DB2INST1STAFF,表上有索引,可以执行下面的 RUNSTATS *** 作:
db2 runstats on table db2inst1staff with distribution and detailed indexes all
2 REORGCHK
REORGCHK是根据统计公式计算表是否需要重整。
对于每个表有3个统计公式,对索引有5个统计公式(版本8),如果公式计算结果该表需重整,在输出的 REORG 字段中相应值为,否则为-。
如果数据库中数据量比较大,在生产系统上要考虑 REORGCHK 的执行时间可能较长,需安排在非交易时间执行。
可以分为对系统表和用户表两部分分别进行 REORGCHK:
1) 针对系统表进行REORGCHK
db2 reorgchk update statistics on table system
使用 UPDATE STATISTICS 参数指定数据库首先执行 RUNSTATS 命令。
2) 针对用户表进行 REORGCHK
db2 reorgchk update statistics on table user
根据统计公式的计算结果(是否有 ),考虑是否必要对表进行 REORG。注意,某些小表的结果可能由于统计信息过少而不准确。
3 REORG TABLE
执行 REORG 可以考虑分为表上有索引和没有索引两种情况:
1) 如果表上有索引
如表名为 DB2INST1STAFF,索引名为 DB2INST1STAFF,
REORG 表:
db2 reorg table db2inst1staff index db2inst1istaff use tempspace1
建议 REORG 时可以使用USE参数指定数据重排时使用的临时表空间。如果不指定, REORG 工作将会在表所在表空间中原地执行。
如果表上有多个索引,INDEX 参数值请使用最为重要的索引名。
REORG 索引:
db2 reorg indexes all for table db2inst1staff
2) 如果表上没有索引
如表名为DB2INST1STAFF, SYSIBMSYSTABLES
db2 reorg table db2inst1staff use tempspace1
db2 reorg table sysibmsystables use tempspace1
4 RUNSTATS
参见步骤 1。
5 (可选) 上面命令完成后可以重复第二步,检查 REORG 的结果,如果需要,可以再次执行 REORG 和 RUNSTATS 命令。
6 BIND 或 REBIND
RUNSTATS 命令运行后,应对数据库中的 PACKAGE 进行重新联编,简单地,可以使用 db2rbind 命令来完成。
例如,如果数据库名为 SAMPLE,执行:
db2rbind sample -l db2rbindout
临时表太多了 mysql负载会比较重 换种思维来考虑 一条sql语句 尽量的分多条来查 sql提供的内置函数也尽量不要用 在脚本语言里进行处理 在mysql里前面 加explain就可以看到性能了
1 索引
2 历史数据备份
3 分表。。。
打开的文件的最大总数 (MAXTOTFILOP) = 16000
CPU 速度(毫秒/指令) (CPUSPEED) = 1968101e-007
通信带宽(MB/秒) (COMM_BANDWIDTH) = 1000000e+002
在需要支持移动/平板电脑应用及普通桌面浏览器访问的时代,网站的普及率和有效性很大程度上取决于其可用性和性能。一个访问缓慢的网站会使得访问者或潜在的客户流失,并导致商业的失败。IT培训认为一个访问速度相当快的网站将会决定访客是否会使用网站提供的产品或服务。
拥有大规模数据库的网站始终需要适当的关注、配置、优化、调整和维护,以确保网站的快速加载。这篇文章将讨论如何优化有海量数据的MySQL数据库。
选择InnoDB作为存储引擎
大型产品的数据库对于可靠性和并发性的要求较高,InnoDB作为默认的MySQL存储引擎,相对于MyISAM来说是个更佳的选择。
优化数据库结构
组织数据库的schema、表和字段以降低I/O的开销,将相关项保存在一起,并提前规划,以便随着数据量的增长,性能可以保持较高的水平。
设计数据表应尽量使其占用的空间最小化,表的主键应尽可能短。
对于InnoDB表,主键所在的列在每个辅助索引条目中都是可复制的,因此如果有很多辅助索引,那么一个短的主键可以节省大量空间。
仅创建你需要改进查询性能的索引。索引有助于检索,但是会增加插入和更新 *** 作的执行时间。
InnoDB的ChangeBuffering特性
InnoDB提供了changebuffering的配置,可减少维护辅助索引所需的磁盘I/O。大规模的数据库可能会遇到大量的表 *** 作和大量的I/O,以保证辅助索引保持最新。当相关页面不在缓冲池里面时,InnoDB的changebuffer将会更改缓存到辅助索引条目,从而避免因不能立即从磁盘读取页面而导致耗时的I/O *** 作。当页面被加载到缓冲池时,缓冲的更改将被合并,更新的页面之后会刷新到磁盘。这样做可提高性能,适用于MySQL55及更高版本。
分表是分散数据库压力的好方法。
分表,最直白的意思,就是将一个表结构分为多个表,然后,可以再同一个库里,也可以放到不同的库。
当然,首先要知道什么情况下,才需要分表。个人觉得单表记录条数达到百万到千万级别时就要使用分表了。
分表的分类
1、纵向分表
将本来可以在同一个表的内容,人为划分为多个表。(所谓的本来,是指按照关系型数据库的第三范式要求,是应该在同一个表的。)
分表理由:根据数据的活跃度进行分离,(因为不同活跃的数据,处理方式是不同的)
案例:
对于一个博客系统,文章标题,作者,分类,创建时间等,是变化频率慢,查询次数多,而且最好有很好的实时性的数据,我们把它叫做冷数据。而博客的浏览量,回复数等,类似的统计信息,或者别的变化频率比较高的数据,我们把它叫做活跃数据。所以,在进行数据库结构设计的时候,就应该考虑分表,首先是纵向分表的处理。
这样纵向分表后:
首先存储引擎的使用不同,冷数据使用MyIsam 可以有更好的查询数据。活跃数据,可以使用Innodb ,可以有更好的更新速度。
其次,对冷数据进行更多的从库配置,因为更多的 *** 作时查询,这样来加快查询速度。对热数据,可以相对有更多的主库的横向分表处理。
其实,对于一些特殊的活跃数据,也可以考虑使用memcache ,redis之类的缓存,等累计到一定量再去更新数据库。或者mongodb 一类的nosql 数据库,这里只是举例,就先不说这个。
2、横向分表
字面意思,就可以看出来,是把大的表结构,横向切割为同样结构的不同表,如,用户信息表,user_1,user_2等。表结构是完全一样,但是,根据某些特定的规则来划分的表,如根据用户ID来取模划分。
分表理由:根据数据量的规模来划分,保证单表的容量不会太大,从而来保证单表的查询等处理能力。
案例:同上面的例子,博客系统。当博客的量达到很大时候,就应该采取横向分割来降低每个单表的压力,来提升性能。例如博客的冷数据表,假如分为100个表,当同时有100万个用户在浏览时,如果是单表的话,会进行100万次请求,而现在分表后,就可能是每个表进行1万个数据的请求(因为,不可能绝对的平均,只是假设),这样压力就降低了很多很多。
延伸:为什么要分表和分区?
日常开发中我们经常会遇到大表的情况,所谓的大表是指存储了百万级乃至千万级条记录的表。这样的表过于庞大,导致数据库在查询和插入的时候耗时太长,性能低下,如果涉及联合查询的情况,性能会更加糟糕。分表和表分区的目的就是减少数据库的负担,提高数据库的效率,通常点来讲就是提高表的增删改查效率。
什么是分表?
分表是将一个大表按照一定的规则分解成多张具有独立存储空间的实体表,我们可以称为子表,每个表都对应三个文件,MYD数据文件,MYI索引文件,frm表结构文件。这些子表可以分布在同一块磁盘上,也可以在不同的机器上。app读写的时候根据事先定义好的规则得到对应的子表名,然后去 *** 作它。
什么是分区?
分区和分表相似,都是按照规则分解表。不同在于分表将大表分解为若干个独立的实体表,而分区是将数据分段划分在多个位置存放,可以是同一块磁盘也可以在不同的机器。分区后,表面上还是一张表,但数据散列到多个位置了。app读写的时候 *** 作的还是大表名字,db自动去组织分区的数据。
MySQL分表和分区有什么联系呢?
1、都能提高mysql的性高,在高并发状态下都有一个良好的表现。
2、分表和分区不矛盾,可以相互配合的,对于那些大访问量,并且表数据比较多的表,我们可以采取分表和分区结合的方式(如果merge这种分表方式,不能和分区配合的话,可以用其他的分表试),访问量不大,但是表数据很多的表,我们可以采取分区的方式等。
3、分表技术是比较麻烦的,需要手动去创建子表,app服务端读写时候需要计算子表名。采用merge好一些,但也要创建子表和配置子表间的union关系。
4、表分区相对于分表, *** 作方便,不需要创建子表。
我们知道对于大型的互联网应用,数据库单表的数据量可能达到千万甚至上亿级别,同时面临这高并发的压力。Master-Slave结构只能对数据库的读能力进行扩展,写 *** 作还是集中在Master中,Master并不能无限制的挂接Slave库,如果需要对数据库的吞吐能力进行进一步的扩展,可以考虑采用分库分表的策略。
1、分表
在分表之前,首先要选中合适的分表策略(以哪个字典为分表字段,需要将数据分为多少张表),使数据能够均衡的分布在多张表中,并且不影响正常的查询。在企业级应用中,往往使用org_id(组织主键)做为分表字段,在互联网应用中往往是userid。在确定分表策略后,当数据进行存储及查询时,需要确定到哪张表里去查找数据,
数据存放的数据表 = 分表字段的内容 % 分表数量
2、分库
分表能够解决单表数据量过大带来的查询效率下降的问题,但是不能给数据库的并发访问带来质的提升,面对高并发的写访问,当Master无法承担高并发的写入请求时,不管如何扩展Slave服务器,都没有意义了。我们通过对数据库进行拆分,来提高数据库的写入能力,即所谓的分库。分库采用对关键字取模的方式,对数据库进行路由。
数据存放的数据库=分库字段的内容%数据库的数量
3、即分表又分库
数据库分表可以解决单表海量数据的查询性能问题,分库可以解决单台数据库的并发访问压力问题。
当数据库同时面临海量数据存储和高并发访问的时候,需要同时采取分表和分库策略。一般分表分库策略如下:
中间变量 = 关键字%(数据库数量单库数据表数量)
库 = 取整(中间变量/单库数据表数量)
表 = (中间变量%单库数据表数量)
实例:
1、分库分表
很明显,一个主表(也就是很重要的表,例如用户表)无限制的增长势必严重影响性能,分库与分表是一个很不错的解决途径,也就是性能优化途径,现在的案例是我们有一个1000多万条记录的用户表members,查询起来非常之慢,同事的做法是将其散列到100个表中,分别从members0到members99,然后根据mid分发记录到这些表中,牛逼的代码大概是这样子:
复制代码 代码如下:
<php
for($i=0;$i< 100; $i++ ){
//echo "CREATE TABLE db2members{$i} LIKE db1members
";
echo "INSERT INTO members{$i} SELECT FROM members WHERE mid%100={$i}
";
}
>
2、不停机修改mysql表结构
同样还是members表,前期设计的表结构不尽合理,随着数据库不断运行,其冗余数据也是增长巨大,同事使用了下面的方法来处理:
先创建一个临时表:
/创建临时表/
CREATE TABLE members_tmp LIKE members
然后修改members_tmp的表结构为新结构,接着使用上面那个for循环来导出数据,因为1000万的数据一次性导出是不对的,mid是主键,一个区间一个区间的导,基本是一次导出5万条吧,这里略去了
接着重命名将新表替换上去:
/这是个颇为经典的语句哈/
RENAME TABLE members TO members_bak,members_tmp TO members;
就是这样,基本可以做到无损失,无需停机更新表结构,但实际上RENAME期间表是被锁死的,所以选择在线少的时候 *** 作是一个技巧。经过这个 *** 作,使得原先8G多的表,一下子变成了2G多。
一般DB2自带的工具就能完成太多数的功能,但有两个比较重要的工具介绍一下,一个是db2top,它可以对db2的各种对象进行实时监控,例如内存,语句,表等。二是toad for db2,这个工具像sqlserver的analyzer,可以用来查询数据,查看语句的执行计划,在数据库语句优化时很好用。
以上就是关于如何使用 REORG 和 RUNSTATS 命令优化数据库性能全部的内容,包括:如何使用 REORG 和 RUNSTATS 命令优化数据库性能、请教,我的select语句查询怎么这么慢怎么样优化 DB2数据库...急谢谢、DB2数据库数据量庞大导致速度慢,求解决方案等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)