1对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。
2应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:
select id from t where num is null
可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:
select id from t where num=0
3应尽量避免在 where 子句中使用!=或<> *** 作符,否则将引擎放弃使用索引而进行全表扫描。
4应尽量避免在 where 子句中使用 or 来连接条件,否则将导致引擎放弃使用索引而进行全表扫描,如:
select id from t where num=10 or num=20
可以这样查询:
select id from t where num=10
union all
select id from t where num=20
5in 和 not in 也要慎用,否则会导致全表扫描,如:
select id from t where num in(1,2,3)
对于连续的数值,能用 between 就不要用 in 了:
select id from t where num between 1 and 3
6下面的查询也将导致全表扫描:
select id from t where name like '%abc%'
若要提高效率,可以考虑全文检索。
7如果在 where 子句中使用参数,也会导致全表扫描。因为SQL只有在运行时才会解析局部变量,但优化程序不能将访问计划的选择推迟到运行时;它必须在编译时进行选择。然而,如果在编译时建立访问计划,变量的值还是未知的,因而无法作为索引选择的输入项。如下面语句将进行全表扫描:
select id from t where num=@num
可以改为强制查询使用索引:
select id from t with(index(索引名)) where num=@num
8应尽量避免在 where 子句中对字段进行表达式 *** 作,这将导致引擎放弃使用索引而进行全表扫描。如:
select id from t where num/2=100
应改为:
select id from t where num=1002
9应尽量避免在where子句中对字段进行函数 *** 作,这将导致引擎放弃使用索引而进行全表扫描。如:
select id from t where substring(name,1,3)='abc'--name以abc开头的id
select id from t where datediff(day,createdate,'2005-11-30')=0--‘2005-11-30’生成的id
应改为:
select id from t where name like 'abc%'
select id from t where createdate>='2005-11-30' and createdate<'2005-12-1'
10不要在 where 子句中的“=”左边进行函数、算术运算或其他表达式运算,否则系统将可能无法正确使用索引。
11在使用索引字段作为条件时,如果该索引是复合索引,那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引,否则该索引将不会被使用,并且应尽可能的让字段顺序与索引顺序相一致。
12不要写一些没有意义的查询,如需要生成一个空表结构:
select col1,col2 into #t from t where 1=0
这类代码不会返回任何结果集,但是会消耗系统资源的,应改成这样:
create table #t()
13很多时候用 exists 代替 in 是一个好的选择:
select num from a where num in(select num from b)
用下面的语句替换:
select num from a where exists(select 1 from b where num=anum)
14并不是所有索引对查询都有效,SQL是根据表中数据来进行查询优化的,当索引列有大量数据重复时,SQL查询可能不会去利用索引,如一表中有字段sex,male、female几乎各一半,那么即使在sex上建了索引也对查询效率起不了作用。
15索引并不是越多越好,索引固然可以提高相应的 select 的效率,但同时也降低了 insert 及 update 的效率,因为 insert 或 update 时有可能会重建索引,所以怎样建索引需要慎重考虑,视具体情况而定。一个表的索引数最好不要超过6个,若太多则应考虑一些不常使用到的列上建的索引是否有必要。
16应尽可能的避免更新 clustered 索引数据列,因为 clustered 索引数据列的顺序就是表记录的物理存储顺序,一旦该列值改变将导致整个表记录的顺序的调整,会耗费相当大的资源。若应用系统需要频繁更新 clustered 索引数据列,那么需要考虑是否应将该索引建为 clustered 索引。
17尽量使用数字型字段,若只含数值信息的字段尽量不要设计为字符型,这会降低查询和连接的性能,并会增加存储开销。这是因为引擎在处理查询和连接时会逐个比较字符串中每一个字符,而对于数字型而言只需要比较一次就够了。
18尽可能的使用 varchar/nvarchar 代替 char/nchar ,因为首先变长字段存储空间小,可以节省存储空间,其次对于查询来说,在一个相对较小的字段内搜索效率显然要高些。
19任何地方都不要使用 select from t ,用具体的字段列表代替“”,不要返回用不到的任何字段。
20尽量使用表变量来代替临时表。如果表变量包含大量数据,请注意索引非常有限(只有主键索引)。
21避免频繁创建和删除临时表,以减少系统表资源的消耗。
22临时表并不是不可使用,适当地使用它们可以使某些例程更有效,例如,当需要重复引用大型表或常用表中的某个数据集时。但是,对于一次性事件,最好使用导出表。
23在新建临时表时,如果一次性插入数据量很大,那么可以使用 select into 代替 create table,避免造成大量 log ,以提高速度;如果数据量不大,为了缓和系统表的资源,应先create table,然后insert。
24如果使用到了临时表,在存储过程的最后务必将所有的临时表显式删除,先 truncate table ,然后 drop table ,这样可以避免系统表的较长时间锁定。
25尽量避免使用游标,因为游标的效率较差,如果游标 *** 作的数据超过1万行,那么就应该考虑改写。
26使用基于游标的方法或临时表方法之前,应先寻找基于集的解决方案来解决问题,基于集的方法通常更有效。
27与临时表一样,游标并不是不可使用。对小型数据集使用 FAST_FORWARD 游标通常要优于其他逐行处理方法,尤其是在必须引用几个表才能获得所需的数据时。在结果集中包括“合计”的例程通常要比使用游标执行的速度快。如果开发时间允许,基于游标的方法和基于集的方法都可以尝试一下,看哪一种方法的效果更好。
28在所有的存储过程和触发器的开始处设置 SET NOCOUNT ON ,在结束时设置 SET NOCOUNT OFF 。无需在执行存储过程和触发器的每个语句后向客户端发送 DONE_IN_PROC 消息。
29尽量避免大事务 *** 作,提高系统并发能力。
30尽量避免向客户端返回大数据量,若数据量过大,应该考虑相应需求是否合理
1、避免将字段设为“允许为空”
2、数据表设计要规范
3、深入分析数据 *** 作所要对数据库进行的 *** 作
4、尽量不要使用临时表
5、多多使用事务
6、尽量不要使用游标
7、避免死锁
8、要注意读写锁的使用
9、不要打开大的数据集
10、不要使用服务器端游标
11、在程序编码时使用大数据量的数据库
12、不要给“性别”列创建索引
13、注意超时问题
14、不要使用Select
15、在细节表中插入纪录时,不要在主表执行Select MAX(ID)
16、尽量不要使用TEXT数据类型
17、使用参数查询
18、不要使用Insert导入大批的数据
19、学会分析查询
20、使用参照完整性
21、用INNER JOIN 和LEFT JOIN代替Where
提高SQL查询效率(要点与技巧):
· 技巧一:
问题类型:ACCESS数据库字段中含有日文片假名或其它不明字符时查询会提示内存溢出。
解决方法:修改查询语句
sql="select from tablename where column like '%"&word&"%'"
改为
sql="select from tablename"
rsfilter = " column like '%"&word&"%'"
===========================================================
技巧二:
问题类型:如何用简易的办法实现类似百度的多关键词查询(多关键词用空格或其它符号间隔)。
解决方法:
'//用空格分割查询字符串
ck=split(word," ")
'//得到分割后的数量
sck=UBound(ck)
sql="select tablename where"
在一个字段中查询
For i = 0 To sck
SQL = SQL & tempJoinWord & "(" & _
"column like '"&ck(i)&"%')"
tempJoinWord = " and "
Next
在二个字段中同时查询
For i = 0 To sck
SQL = SQL & tempJoinWord & "(" & _
"column like '"&ck(i)&"%' or " & _
"column1 like '"&ck(i)&"%')"
tempJoinWord = " and "
Next
===========================================================
技巧三:大大提高查询效率的几种技巧
1 尽量不要使用 or,使用or会引起全表扫描,将大大降低查询效率。
2 经过实践验证,charindex()并不比前面加%的like更能提高查询效率,并且charindex()会使索引失去作用(指sqlserver数据库)
3 column like '%"&word&"%' 会使索引不起作用
column like '"&word&"%' 会使索引起作用(去掉前面的%符号)
(指sqlserver数据库)
4 '%"&word&"%' 与'"&word&"%' 在查询时的区别:
比如你的字段内容为 一个容易受伤的女人
'%"&word&"%' :会通配所有字符串,不论查“受伤”还是查“一个”,都会显示结果。
'"&word&"%' :只通配前面的字符串,例如查“受伤”是没有结果的,只有查“一个”,才会显示结果。
5 字段提取要按照“需多少、提多少”的原则,避免“select ”,尽量使用“select 字段1,字段2,字段3”。实践证明:每少提取一个字段,数据的提取速度就会有相应的提升。提升的速度还要看您舍弃的字段的大小来判断。
6 order by按聚集索引列排序效率最高。一个sqlserver数据表只能建立一个聚集索引,一般默认为ID,也可以改为其它的字段。
7 为你的表建立适当的索引,建立索引可以使你的查询速度提高几十几百倍。(指sqlserver数据库)
· 以下是建立索引与不建立索引的一个查询效率分析:
Sqlserver索引与查询效率分析。
表 News
字段
Id:自动编号
Title:文章标题
Author:作者
Content:内容
Star:优先级
Addtime:时间
记录:100万条
测试机器:P4 28/1G内存/IDE硬盘
=======================================================
方案1:
主键Id,默认为聚集索引,不建立其它非聚集索引
select from News where Title like '%"&word&"%' or Author like '%"&word&"%' order by Id desc
从字段Title和Author中模糊检索,按Id排序
查询时间:50秒
=======================================================
方案2:
主键Id,默认为聚集索引
在Title、Author、Star上建立非聚集索引
select from News where Title like '"&word&"%' or Author like '"&word&"%' order by Id desc
从字段Title和Author中模糊检索,按Id排序
查询时间:2 - 25秒
=======================================================
方案3:
主键Id,默认为聚集索引
在Title、Author、Star上建立非聚集索引
select from News where Title like '"&word&"%' or Author like '"&word&"%' order by Star desc
从字段Title和Author中模糊检索,按Star排序
查询时间:2 秒
=======================================================
方案4:
主键Id,默认为聚集索引
在Title、Author、Star上建立非聚集索引
select from News where Title like '"&word&"%' or Author like '"&word&"%'
从字段Title和Author中模糊检索,不排序
查询时间:18 - 2 秒
=======================================================
方案5:
主键Id,默认为聚集索引
在Title、Author、Star上建立非聚集索引
select from News where Title like '"&word&"%'
或
select from News where Author like '"&word&"%'
从字段Title 或 Author中检索,不排序
查询时间:1秒
· 如何提高SQL语言的查询效率
问:请问我如何才能提高SQL语言的查询效率呢?
答:这得从头说起:
由于SQL是面向结果而不是面向过程的查询语言,所以一般支持SQL语言的大型关系型数据库都使用一个基于查询成本的优化器,为即时查询提供一个最佳的执行策略。对于优化器,输入是一条查询语句,输出是一个执行策略。
一条SQL查询语句可以有多种执行策略,优化器将估计出全部执行方法中所需时间最少的所谓成本最低的那一种方法。所有优化都是基于用记所使用的查询语句中的where子句,优化器对where子句中的优化主要用搜索参数(Serach Argument)。
搜索参数的核心思想就是数据库使用表中字段的索引来查询数据,而不必直接查询记录中的数据。
带有 =、<、<=、>、>= 等 *** 作符的条件语句可以直接使用索引,如下列是搜索参数:
emp_id = "10001" 或 salary > 3000 或 a =1 and c = 7
而下列则不是搜索参数:
salary = emp_salary 或 dep_id != 10 或 salary 12 >= 3000 或 a=1 or c=7
应当尽可能提供一些冗余的搜索参数,使优化器有更多的选择余地。请看以下3种方法:
第一种方法:
select employeeemp_name,departmentdep_name from department,employee where (employeedep_id = departmentdep_id) and (departmentdep_code="01") and (employeedep_code="01");
它的搜索分析结果如下:
Estimate 2 I/O operations
Scan department using primary key
for rows where dep_code equals "01"
Estimate getting here 1 times
Scan employee sequentially
Estimate getting here 5 times
第二种方法:
select employeeemp_name,departmentdep_name from department,employee where (employeedep_id = departmentdep_id) and (departmentdep_code="01");
它的搜索分析结果如下:
Estimate 2 I/O operations
Scan department using primary key
for rows where dep_code equals "01"
Estimate getting here 1 times
Scan employee sequentially
Estimate getting here 5 times
第一种方法与第二种运行效率相同,但第一种方法最好,因为它为优化器提供了更多的选择机会。
第三种方法:
select employeeemp_name,departmentdep_name from department,employee where (employeedep_id = departmentdep_id) and (employeedep_code="01");
这种方法最不好,因为它无法使用索引,也就是无法优化……
使用SQL语句时应注意以下几点:
1、避免使用不兼容的数据类型。例如,Float和Integer,Char和Varchar,Binary和Long Binary不兼容的。数据类型的不兼容可能使优化器无法执行一些本可以进行的优化 *** 作。例如:
select emp_name form employee where salary > 3000;
在此语句中若salary是Float类型的,则优化器很难对其进行优化,因为3000是个整数,我们应在编程时使用30000而不要等运行时让DBMS进行转化。
2、尽量不要使用表达式,因它在编绎时是无法得到的,所以SQL只能使用其平均密度来估计将要命中的记录数。
3、避免对搜索参数使用其他的数学 *** 作符。如:
select emp_name from employee where salary 12 > 3000;
应改为:
select emp_name from employee where salary > 250;
4、避免使用 != 或 <> 等这样的 *** 作符,因为它会使系统无法使用索引,而只能直接搜索表中的数据。
· ORACAL中的应用
一个1600万数据表--短信上行表TBL_SMS_MO
结构:
CREATE TABLE TBL_SMS_MO
(
SMS_ID NUMBER,
MO_ID VARCHAR2(50),
MOBILE VARCHAR2(11),
SPNUMBER VARCHAR2(20),
MESSAGE VARCHAR2(150),
TRADE_CODE VARCHAR2(20),
LINK_ID VARCHAR2(50),
GATEWAY_ID NUMBER,
GATEWAY_PORT NUMBER,
MO_TIME DATE DEFAULT SYSDATE
);
CREATE INDEX IDX_MO_DATE ON TBL_SMS_MO (MO_TIME)
PCTFREE 10
INITRANS 2
MAXTRANS 255
STORAGE
(
INITIAL 1M
NEXT 1M
MINEXTENTS 1
MAXEXTENTS UNLIMITED
PCTINCREASE 0
);
CREATE INDEX IDX_MO_MOBILE ON TBL_SMS_MO (MOBILE)
PCTFREE 10
INITRANS 2
MAXTRANS 255
STORAGE
(
INITIAL 64K
NEXT 1M
MINEXTENTS 1
MAXEXTENTS UNLIMITED
PCTINCREASE 0
);
问题:从表中查询某时间段内某手机发送的短消息,如下SQL语句:
SELECT MOBILE,MESSAGE,TRADE_CODE,MO_TIME
FROM TBL_SMS_MO
WHERE MOBILE='130XXXXXXXX'
AND MO_TIME BETWEEN TO_DATE('2006-04-01','YYYY-MM-DD HH24:MI:SS') AND TO_DATE('2006-04-07','YYYY-MM-DD HH24:MI:SS')
ORDER BY MO_TIME DESC
返回结果大约需要10分钟,应用于网页查询,简直难以忍受。
分析:
在PL/SQL Developer,点击“Explain Plan”按钮(或F5键),对SQL进行分析,发现缺省使用的索引是IDX_MO_DATE。问题可能出在这里,因为相对于总数量1600万数据来说,都mobile的数据是很少的,如果使用IDX_MO_MOBILE比较容易锁定数据。
如下优化:
SELECT /+ index(TBL_SMS_MO IDX_MO_MOBILE) / MOBILE,MESSAGE,TRADE_CODE,MO_TIME
FROM TBL_SMS_MO
WHERE MOBILE='130XXXXXXXX'
AND MO_TIME BETWEEN TO_DATE('2006-04-01','YYYY-MM-DD HH24:MI:SS') AND TO_DATE('2006-04-07','YYYY-MM-DD HH24:MI:SS')
ORDER BY MO_TIME DESC
测试:
按F8运行这个SQL,哇~ 2360s,这就是差别。
>下面以关系数据库系统Informix为例,介绍改善用户查询计划的方法。
1.合理使用索引
索引是数据库中重要的数据结构,它的根本目的就是为了提高查询效率。现在大多数的数据库产品都采用IBM最先提出的ISAM索引结构。索引的使用要恰到好处,其使用原则如下:
●在经常进行连接,但是没有指定为外键的列上建立索引,而不经常连接的字段则由优化器自动生成索引。
●在频繁进行排序或分组(即进行group by或order by *** 作)的列上建立索引。
●在条件表达式中经常用到的不同值较多的列上建立检索,在不同值少的列上不要建立索引。比如在雇员表的“性别”列上只有“男”与“女”两个不同值,因此就无必要建立索引。如果建立索引不但不会提高查询效率,反而会严重降低更新速度。
●如果待排序的列有多个,可以在这些列上建立复合索引(compound index)。
●使用系统工具。如Informix数据库有一个tbcheck工具,可以在可疑的索引上进行检查。在一些数据库服务器上,索引可能失效或者因为频繁 *** 作而使得读取效率降低,如果一个使用索引的查询不明不白地慢下来,可以试着用tbcheck工具检查索引的完整性,必要时进行修复。另外,当数据库表更新大量数据后,删除并重建索引可以提高查询速度。
2.避免或简化排序
应当简化或避免对大型表进行重复的排序。当能够利用索引自动以适当的次序产生输出时,优化器就避免了排序的步骤。以下是一些影响因素:
●索引中不包括一个或几个待排序的列;
●group by或order by子句中列的次序与索引的次序不一样;
●排序的列来自不同的表。
为了避免不必要的排序,就要正确地增建索引,合理地合并数据库表(尽管有时可能影响表的规范化,但相对于效率的提高是值得的)。如果排序不可避免,那么应当试图简化它,如缩小排序的列的范围等。
3.消除对大型表行数据的顺序存取
在嵌套查询中,对表的顺序存取对查询效率可能产生致命的影响。比如采用顺序存取策略,一个嵌套3层的查询,如果每层都查询1000行,那么这个查询就要查询10亿行数据。避免这种情况的主要方法就是对连接的列进行索引。例如,两个表:学生表(学号、姓名、年龄……)和选课表(学号、课程号、成绩)。如果两个表要做连接,就要在“学号”这个连接字段上建立索引。
还可以使用并集来避免顺序存取。尽管在所有的检查列上都有索引,但某些形式的where子句强迫优化器使用顺序存取。下面的查询将强迫对orders表执行顺序 *** 作:
SELECT * FROM orders WHERE (customer_num=104 AND order_num>1001) OR order_num=1008
虽然在customer_num和order_num上建有索引,但是在上面的语句中优化器还是使用顺序存取路径扫描整个表。因为这个语句要检索的是分离的行的集合,所以应该改为如下语句:
SELECT * FROM orders WHERE customer_num=104 AND order_num>1001
UNION
SELECT * FROM orders WHERE order_num=1008
这样就能利用索引路径处理查询。
4.避免相关子查询
一个列的标签同时在主查询和where子句中的查询中出现,那么很可能当主查询中的列值改变之后,子查询必须重新查询一次。查询嵌套层次越多,效率越低,因此应当尽量避免子查询。如果子查询不可避免,那么要在子查询中过滤掉尽可能多的行。
5.避免困难的正规表达式
MATCHES和LIKE关键字支持通配符匹配,技术上叫正规表达式。但这种匹配特别耗费时间。例如:SELECT * FROM customer WHERE zipcode LIKE “98_ _ _”
即使在zipcode字段上建立了索引,在这种情况下也还是采用顺序扫描的方式。如果把语句改为SELECT * FROM customer WHERE zipcode >“98000”,在执行查询时就会利用索引来查询,显然会大大提高速度。
另外,还要避免非开始的子串。例如语句:SELECT * FROM customer WHERE zipcode[2,3]>“80”,在where子句中采用了非开始子串,因而这个语句也不会使用索引。
6.使用临时表加速查询
把表的一个子集进行排序并创建临时表,有时能加速查询。它有助于避免多重排序 *** 作,而且在其他方面还能简化优化器的工作。例如:
SELECT custname,rcvblesbalance,……other columns
FROM cust,rcvbles
WHERE custcustomer_id = rcvlbescustomer_id
AND rcvbllsbalance>0
AND custpostcode>“98000”
ORDER BY custname
如果这个查询要被执行多次而不止一次,可以把所有未付款的客户找出来放在一个临时文件中,并按客户的名字进行排序:
SELECT custname,rcvblesbalance,……other columns
FROM cust,rcvbles
WHERE custcustomer_id = rcvlbescustomer_id
AND rcvbllsbalance>0
ORDER BY custname
INTO TEMP cust_with_balance
然后以下面的方式在临时表中查询:
SELECT * FROM cust_with_balance
WHERE postcode>“98000”
临时表中的行要比主表中的行少,而且物理顺序就是所要求的顺序,减少了磁盘I/O,所以查询工作量可以得到大幅减少。
注意:临时表创建后不会反映主表的修改。在主表中数据频繁修改的情况下,注意不要丢失数据。
7.用排序来取代非顺序存取
非顺序磁盘存取是最慢的 *** 作,表现在磁盘存取臂的来回移动。SQL语句隐藏了这一情况,使得我们在写应用程序时很容易写出要求存取大量非顺序页的查询。
有些时候,用数据库的排序能力来替代非顺序的存取能改进查询。SQL Server查询速度慢的原因有很多,常见的有以下几种:
1、没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷)
2、I/O吞吐量小,形成了瓶颈效应。
3、没有创建计算列导致查询不优化。
4、内存不足
5、网络速度慢
6、查询出的数据量过大(可以采用多次查询,其他的方法降低数据量)
7、锁或者死锁(这也是查询慢最常见的问题,是程序设计的缺陷)
8、sp_lock,sp_who,活动的用户查看,原因是读写竞争资源Oracle查询速度慢的原因总结
查询速度慢的原因很多,常见如下几种:
1,没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷)
2,I/O吞吐量小,形成了瓶颈效应
3,没有创建计算列导致查询不优化
4,内存不足
5,网络速度慢
6,查询出的数据量过大(可以采用多次查询,其他的方法降低数据量)
7,锁或者死锁(这也是查询慢最常见的问题,是程序设计的缺陷)
8,sp_lock,sp_who,活动的用户查看,原因是读写竞争资源
9,返回了不必要的行和列
10,查询语句不好,没有优化
可以通过如下方法来优化查询 :
1,把数据,日志,索引放到不同的I/O设备上,增加读取速度,以前可以将Tempdb应放在RAID0上,SQL2000不在支持数据量(尺寸)越大,提高I/O越重要
2,纵向,横向分割表,减少表的尺寸(sp_spaceuse)
3,升级硬件
4,根据查询条件,建立索引,优化索引,优化访问方式,限制结果集的数据量注意填充因子要适当(最好是使用默认值0)索引应该尽量小,使用字节数小的列建索引好(参照索引的创建),不要对有限的几个值的字段建单一索引如性别字段
5,提高网速;
6,扩大服务器的内存,Windows 2000和SQL server 2000能支持4-8G的内存配置虚拟内存:虚拟内存大小应基于计算机上并发运行的服务进行配置运行 Microsoft SQL Server 2000 时,可考虑将虚拟内存大小设置为计算机中安装的物理内存的 15 倍如果另外安装了全文检索功能,并打算运行 Microsoft 搜索服务以便执行全文索引和查询,可考虑:将虚拟内存大小配置为至少是计算机中安装的物理内存的 3 倍将 SQL Server max server memory 服务器配置选项配置为物理内存的 15 倍(虚拟内存大小设置的一半)
7,增加服务器 CPU个数;但是必须明白并行处理串行处理更需要资源例如内存使用并行还是串行程是MsSQL自动评估选择的单个任务分解成多个任务,就可以在处理器上运行例如耽搁查询的排序,连接,扫描和GROUP BY字句同时执行,SQL SERVER根据系统的负载情况决定最优的并行等级,复杂的需要消耗大量的CPU的查询最适合并行处理但是更新 *** 作Update,Insert, Delete还不能并行处理
8,如果是使用like进行查询的话,简单的使用index是不行的,但是全文索引,耗空间 like 'a%' 使用索引 like '%a' 不使用索引用 like '%a%' 查询时,查询耗时和字段值总长度成正比,所以不能用CHAR类型,而是VARCHAR对于字段的值很长的建全文索引
9,DB Server 和APPLication Server 分离;OLTP和OLAP分离
10,分布式分区视图可用于实现数据库服务器联合体联合体是一组分开管理的服务器,但它们相互协作分担系统的处理负荷这种通过分区数据形成数据库服务器联合体的机制能够扩大一组服务器,以支持大型的多层 Web 站点的处理需要有关更多信息,参见设计联合数据库服务器(参照SQL帮助文件'分区视图')
a,在实现分区视图之前,必须先水平分区表
b,在创建成员表后,在每个成员服务器上定义一个分布式分区视图,并且每个视图具有相同的名称这样,引用分布式分区视图名的查询可以在任何一个成员服务器上运行系统 *** 作如同每个成员服务器上都有一个原始表的复本一样,但其实每个服务器上只有一个成员表和一个分布式分区视图数据的位置对应用程序是透明的
11,重建索引 DBCC REINDEX ,DBCC INDEXDEFRAG,收缩数据和日志 DBCC SHRINKDB,DBCC SHRINKFILE 设置自动收缩日志对于大的数据库不要设置数据库自动增长,它会降低服务器的性能在T-sql的写法上有很大的讲究,下面列出常见的要点:首先, DBMS处理查询计划的过程是这样的:
1, 查询语句的词法,语法检查
2, 将语句提交给DBMS的查询优化器
3, 优化器做代数优化和存取路径的优化
4, 由预编译模块生成查询规划
5, 然后在合适的时间提交给系统处理执行
6, 最后将执行结果返回给用户其次,看一下SQL SERVER的数据存放的结构:一个页面的大小为8K(8060)字节,8个页面为一个盘区,按照B树存放
12,Commit和rollback的区别 Rollback:回滚所有的事物 Commit:提交当前的事物 没有必要在动态SQL里写事物,如果要写请写在外面如: begin tran exec(@s) commit trans 或者将动态SQL 写成函数或者存储过程
13,在查询Select语句中用Where字句限制返回的行数,避免表扫描,如果返回不必要的数据,浪费了服务器的I/O资源,加重了网络的负担降低性能如果表很大,在表扫描的期间将表锁住,禁止其他的联接访问表,后果严重
14,SQL的注释申明对执行没有任何影响15,尽可能不使用光标,它占用大量的资源如果需要row-by-row地执行,尽量采用非光标技术,如:在客户端循环,用临时表,Table变量,用子查询,用Case语句等等游标可以按照它所支持的提取选项进行分类: 只进 必须按照从第一行到最后一行的顺序提取行FETCH NEXT 是唯一允许的提取 *** 作,也是默认方式可滚动性可以在游标中任何地方随机提取任意行游标的技术在SQL2000下变得功能很强大,他的目的是支持循环有四个并发选项 READ_ONLY:不允许通过游标定位更新(Update),且在组成结果集的行中没有锁 OPTIMISTIC WITH valueS:乐观并发控制是事务控制理论的一个标准部分乐观并发控制用于这样的情形,即在打开游标及更新行的间隔中,只有很小的机会让第二个用户更新某一行当某个游标以此选项打开时,没有锁控制其中的行,这将有助于最大化其处理能力如果用户试图修改某一行,则此行的当前值会与最后一次提取此行时获取的值进行比较如果任何值发生改变,则服务器就会知道其他人已更新了此行,并会返回一个错误如果值是一样的,服务器就执行修改选择这个并发选项OPTIMISTIC WITH ROW VERSIONING:此乐观并发控制选项基于行版本控制使用行版本控制,其中的表必须具有某种版本标识符,服务器可用它来确定该行在读入游标后是否有所更改在 SQL Server 中,这个性能由 timestamp 数据类型提供,它是一个二进制数字,表示数据库中更改的相对顺序每个数据库都有一个全局当前时间戳值:@@DBTS每次以任何方式更改带有 timestamp 列的行时,SQL Server 先在时间戳列中存储当前的 @@DBTS 值,然后增加 @@DBTS 的值如果某 个表具有 timestamp 列,则时间戳会被记到行级服务器就可以比较某行的当前时间戳值和上次提取时所存储的时间戳值,从而确定该行是否已更新服务器不必比较所有列的值,只需比较 timestamp 列即可如果应用程序对没有 timestamp 列的表要求基于行版本控制的乐观并发,则游标默认为基于数值的乐观并发控制 SCROLL LOCKS 这个选项实现悲观并发控制在悲观并发控制中,在把数据库的行读入游标结果集时,应用程序将试图锁定数据库行在使用服务器游标时,将行读入游标时会在其上放置一个更新锁如果在事务内打开游标,则该事务更新锁将一直保持到事务被提交或回滚;当提取下一行时,将除去游标锁如果在事务外打开游标,则提取下一行时,锁就被丢弃因此,每当用户需要完全的悲观并发控制时,游标都应在事务内打开更新锁将阻止任何其它任务获取更新锁或排它锁,从而阻止其它任务更新该行然而,更新锁并不阻止共享锁,所以它不会阻止其它任务读取行,除非第二个任务也在要求带更新锁的读取滚动锁根据在游标定义的 Select 语句中指定的锁提示,这些游标并发选项可以生成滚动锁滚动锁在提取时在每行上获取,并保持到下次提取或者游标关闭,以先发生者为准下次提取时,服务器为新提取中的行获取滚动锁,并释放上次提取中行的滚动锁滚动锁独立于事务锁,并可以保持到一个提交或回滚 *** 作之后如果提交时关闭游标的选项为关,则 COMMIT 语句并不关闭任何打开的游标,而且滚动锁被保留到提交之后,以维护对所提取数据的隔离所获取滚动锁的类型取决于游标并发选项和游标 Select 语句中的锁提示锁提示 只读 乐观数值 乐观行版本控制 锁定无提示 未锁定 未锁定 未锁定 更新 NOLOCK 未锁定未锁定未锁定 未锁定 HOLDLOCK 共享 共享 共享 更新 UPDLOCK 错误 更新 更新 更新 TABLOCKX 错误 未锁定未锁定更新其它 未锁定 未锁定 未锁定 更新 指定 NOLOCK 提示将使指定了该提示的表在游标内是只读的
16,用Profiler来跟踪查询,得到查询所需的时间,找出SQL的问题所在;用索引优化器优化索引
17,注意UNion和UNion all 的区别UNION all好
18,注意使用DISTINCT,在没有必要时不要用,它同UNION一样会使查询变慢重复的记录在查询里是没有问题的
19,查询时不要返回不需要的行,列
20,用sp_configure 'query governor cost limit'或者SET QUERY_GOVERNOR_COST_LIMIT来限制查询消耗的资源当评估查询消耗的资源超出限制时,服务器自动取消查询,在查询之前就扼杀掉 SET LOCKTIME设置锁的时间
21,用select top 100 / 10 Percent 来限制用户返回的行数或者SET ROWCOUNT来限制 *** 作的行
22,在SQL2000以前,一般不要用如下的字句: "IS NULL", "<>", "!=", "!>", "!<", "NOT", "NOT EXISTS", "NOT IN", "NOT LIKE", and "LIKE '%500'",因为他们不走索引全是表扫描也不要在Where字句中的列名加函数,如Convert,substring等,如果必须用函数的时候,创建计算列再创建索引来替代还可以变通写法:Where SUBSTRING(firstname,1,1) = 'm'改为Where firstname like 'm%'(索引扫描),一定要将函数和列名分开并且索引不能建得太多和太大NOT IN会多次扫描表,使用EXISTS,NOT EXISTS ,IN , LEFT OUTER JOIN 来替代,特别是左连接,而Exists比IN更快,最慢的是NOT *** 作如果列的值含有空,以前它的索引不起作用,现在2000的优化器能够处理了相同的是IS NULL,"NOT", "NOT EXISTS", "NOT IN"能优化她,而"<>"等还是不能优化,用不到索引
23,使用Query Analyzer,查看SQL语句的查询计划和评估分析是否是优化的SQL一般的20%的代码占据了80%的资源,我们优化的重点是这些慢的地方
24,如果使用了IN或者OR等时发现查询没有走索引,使用显示申明指定索引: Select FROM PersonMember (INDEX = IX_Title) Where processid IN ('男','女')
25,将需要查询的结果预先计算好放在表中,查询的时候再Select这在SQL70以前是最重要的手段例如医院的住院费计算
26,MIN() 和 MAX()能使用到合适的索引
27,数据库有一个原则是代码离数据越近越好,所以优先选择Default,依次为Rules,Triggers, Constraint(约束如外健主健CheckUNIQUE……,数据类型的最大长度等等都是约束),Procedure这样不仅维护工作小,编写程序质量高,并且执行的速度快
28,如果要插入大的二进制值到Image列,使用存储过程,千万不要用内嵌Insert来插入 (不知JAVA是否)因为这样应用程序首先将二进制值转换成字符串(尺寸是它的两倍),服务器受到字符后又将他转换成二进制值存储过程就没有这些动作: 方法:Create procedure p_insert as insert into table(Fimage) values (@image), 在前台调用这个存储过程传入二进制参数,这样处理速度明显改善
29,Between在某些时候比IN 速度更快,Between能够更快地根据索引找到范围用查询优化器可见到差别 select from chineseresume where title in ('男','女') Select from chineseresume where between '男' and '女' 是一样的由于in会在比较多次,所以有时会慢些
30,在必要是对全局或者局部临时表创建索引,有时能够提高速度,但不是一定会这样,因为索引也耗费大量的资源他的创建同是实际表一样
31,不要建没有作用的事物例如产生报表时,浪费资源只有在必要使用事物时使用它
32,用OR的字句可以分解成多个查询,并且通过UNION 连接多个查询他们的速度只同是否使用索引有关,如果查询需要用到联合索引,用UNION all执行的效率更高多个OR的字句没有用到索引,改写成UNION的形式再试图与索引匹配一个关键的问题是否用到索引
33,尽量少用视图,它的效率低对视图 *** 作比直接对表 *** 作慢,可以用stored procedure来代替她特别的是不要用视图嵌套,嵌套视图增加了寻找原始资料的难度我们看视图的本质:它是存放在服务器上的被优化好了的已经产生了查询规划的SQL对单个表检索数据时,不要使用指向多个表的视图,直接从表检索或者仅仅包含这个表的视图上读,否则增加了不必要的开销,查询受到干扰为了加快视图的查询,MsSQL增加了视图索引的功能
34,没有必要时不要用DISTINCT和ORDER BY,这些动作可以改在客户端执行它们增加了额外的开销这同UNION 和UNION ALL一样的道理
select top 20 adcompanyname,comid,position,adreferenceid,worklocation, convert(varchar(10),adpostDate,120) as postDate1,workyear,degreedescription FROM jobcn_querydboCOMPANYAD_query ad where referenceID in('JCNAD00329667','JCNAD132168','JCNAD00337748','JCNAD00338345','JCNAD00333138','JCNAD00303570','JCNAD00303569','JCNAD00303568','JCNAD00306698',
'JCNAD00231935','JCNAD00231933','JCNAD00254567','JCNAD00254585','JCNAD00254608','JCNAD00254607','JCNAD00258524',
'JCNAD00332133','JCNAD00268618','JCNAD00279196','JCNAD00268613') order by postdate desc
35,在IN后面值的列表中,将出现最频繁的值放在最前面,出现得最少的放在最后面,减少判断的次数
36,当用Select INTO时,它会锁住系统表(sysobjects,sysindexes等等),阻塞其他的连接的存取创建临时表时用显示申明语句,而不是 select INTO drop table t_lxh begin tran select into t_lxh from chineseresume where ——commit 在另一个连接中Select from sysobjects可以看到 Select INTO 会锁住系统表,Create table 也会锁系统表(不管是临时表还是系统表)所以千万不要在事物内使用它!!!这样的话如果是经常要用的临时表请使用实表,或者临时表变量
37,一般在GROUP BY 个HAVING字句之前就能剔除多余的行,所以尽量不要用它们来做剔除行的工作他们的执行顺序应该如下最优:select 的Where字句选择所有合适的行,Group By用来分组个统计行,Having字句用来剔除多余的分组这样Group By 个Having的开销小,查询快对于大的数据行进行分组和Having十分消耗资源如果Group BY的目的不包括计算,只是分组,那么用Distinct更快
38,一次更新多条记录比分多次更新每次一条快,就是说批处理好
39,少用临时表,尽量用结果集和Table类性的变量来代替它,Table 类型的变量比临时表好
40,在SQL2000下,计算字段是可以索引的,需要满足的条件如下:
a,计算字段的表达是确定的
b,不能用在TEXT,Ntext,Image数据类型
c,必须配制如下选项 ANSI_NULLS = ON, ANSI_PADDINGS = ON, ……
41,尽量将数据的处理工作放在服务器上,减少网络的开销,如使用存储过程存储过程是编译好,优化过,并且被组织到一个执行规划里,且存储在数据库中的SQL语句,是控制流语言的集合,速度当然快反复执行的动态SQL,可以使用临时存储过程,该过程(临时表)被放在Tempdb中以前由于SQL SERVER对复杂的数学计算不支持,所以不得不将这个工作放在其他的层上而增加网络的开销SQL2000支持UDFs,现在支持复杂的数学计算,函数的返回值不要太大,这样的开销很大用户自定义函数象光标一样执行的消耗大量的资源,如果返回大的结果采用存储过程
42,不要在一句话里再三的使用相同的函数,浪费资源,将结果放在变量里再调用更快
43,Select COUNT()的效率教低,尽量变通他的写法,而EXISTS快同时请注意区别: select count(Field of null) from Table 和 select count(Field of NOT null) from Table 的返回值是不同的!!!
44,当服务器的内存够多时,配制线程数量 = 最大连接数+5,这样能发挥最大的效率;否则使用 配制线程数量<最大连接数启用SQL SERVER的线程池来解决,如果还是数量 = 最大连接数+5,严重的损害服务器的性能
45,按照一定的次序来访问你的表如果你先锁住表A,再锁住表B,那么在所有的存储过程中都要按照这个顺序来锁定它们如果你(不经意的)某个存储过程中先锁定表B,再锁定表A,这可能就会导致一个死锁如果锁定顺序没有被预先详细的设计好,死锁很难被发现
46,通过SQL Server Performance Monitor监视相应硬件的负载 Memory: Page Faults / sec计数器如果该值偶尔走高,表明当时有线程竞争内存如果持续很高,则内存可能是瓶颈
Process:
1,% DPC Time 指在范例间隔期间处理器用在缓延程序调用(DPC)接收和提供服务的百分比(DPC 正在运行的为比标准间隔优先权低的间隔) 由于 DPC 是以特权模式执行的,DPC 时间的百分比为特权时间百分比的一部分这些时间单独计算并且不属于间隔计算总数的一部 分这个总数显示了作为实例时间百分比的平均忙时
2,%Processor Time计数器 如果该参数值持续超过95%,表明瓶颈是CPU可以考虑增加一个处理器或换一个更快的处理器
3,% Privileged Time 指非闲置处理器时间用于特权模式的百分比(特权模式是为 *** 作系统组件和 *** 纵硬件驱动程序而设计的一种处理模式它允许直接访问硬件和所有内存另一种模式为用户模式,它是一种为应用程序,环境分系统和整数分系统设计的一种有限处理模式 *** 作系统将应用程序线程转换成特权模式以访问 *** 作系统服务)特权时间的 % 包括为间断和 DPC 提供服务的时间特权时间比率高可能是由于失败设备产生的大数量的间隔而引起的这个计数器将平均忙时作为样本时间的一部分显示
4,% User Time表示耗费CPU的数据库 *** 作,如排序,执行aggregate functions等如果该值很高,可考虑增加索引,尽量使用简单的表联接,水平分割大表格等方法来降低该值 Physical Disk: Curretn Disk Queue Length计数器该值应不超过磁盘数的15~2倍要提高性能,可增加磁盘 SQLServer:Cache Hit Ratio计数器该值越高越好如果持续低于80%,应考虑增加内存 注意该参数值是从SQL Server启动后,就一直累加记数,所以运行经过一段时间后,该值将不能反映系统当前值
47,分析select emp_name form employee where salary > 3000 在此语句中若salary是Float类型的,则优化器对其进行优化为Convert(float,3000),因为3000是个整数,我们应在编程时使用30000而不要等运行时让DBMS进行转化同样字符和整型数据的转换
48,查询的关联同写的顺序
select apersonMemberID, from chineseresume a,personmember b where personMemberID = breferenceid and apersonMemberID = 'JCNPRH39681' (A = B ,B = '号码')
select apersonMemberID, from chineseresume a,personmember b where apersonMemberID = breferenceid and apersonMemberID = 'JCNPRH39681' and breferenceid = 'JCNPRH39681' (A = B ,B = '号码', A = '号码')
select apersonMemberID, from chineseresume a,personmember b where breferenceid = 'JCNPRH39681' and apersonMemberID = 'JCNPRH39681' (B = '号码', A = '号码')
问题
我们有一个 SQL,用于找到没有主键 / 唯一键的表,但是在 MySQL 57 上运行特别慢,怎么办?
实验
我们搭建一个 MySQL 57 的环境,此处省略搭建步骤。
写个简单的脚本,制造一批带主键和不带主键的表:
执行一下脚本:
现在执行以下 SQL 看看效果:
执行了 1680s,感觉是非常慢了。
现在用一下 DBA 三板斧,看看执行计划:
感觉有点惨,由于 information_schemacolumns 是元数据表,没有必要的统计信息。
那我们来 show warnings 看看 MySQL 改写后的 SQL:
我们格式化一下 SQL:
可以看到 MySQL 将
select from A where Ax not in (select x from B) //非关联子查询
转换成了
select from A where not exists (select 1 from B where Bx = ax) //关联子查询
如果我们自己是 MySQL,在执行非关联子查询时,可以使用很简单的策略:
select from A where Ax not in (select x from B where ) //非关联子查询:1 扫描 B 表中的所有记录,找到满足条件的记录,存放在临时表 C 中,建好索引2 扫描 A 表中的记录,与临时表 C 中的记录进行比对,直接在索引里比对,
而关联子查询就需要循环迭代:
select from A where not exists (select 1 from B where Bx = ax and ) //关联子查询扫描 A 表的每一条记录 rA: 扫描 B 表,找到其中的第一条满足 rA 条件的记录。
显然,关联子查询的扫描成本会高于非关联子查询。
我们希望 MySQL 能先"缓存"子查询的结果(缓存这一步叫物化,MATERIALIZATION),但MySQL 认为不缓存更快,我们就需要给予 MySQL 一定指导。
可以看到执行时间变成了 067s。
整理
我们诊断的关键点如下:
\1 对于 information_schema 中的元数据表,执行计划不能提供有效信息。
\2 通过查看 MySQL 改写后的 SQL,我们猜测了优化器发生了误判。
\3 我们增加了 hint,指导 MySQL 正确进行优化判断。
但目前我们的实验仅限于猜测,猜中了万事大吉,猜不中就无法做出好的诊断。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)