如何利用多线程提高DB插入数据的效率

使用多线程提高数据库 *** 作效率，可以每个线程负责一个插入语句（用一个分配器将每条插入语句分配给不同线程），共享一个DB的 *** 作句柄。

需要注意的是，如果你的数据插入有互斥，例如有唯一性的主键或者索引，那么数据库在实际执行的时候还是全表加锁的。

分布式系统就是将系统的应用层，数据层或其它部分构架成分布（物理和逻辑上的都可以）状（通常是网状）。分布式系统通常是为了增强系统的可扩展性、稳定性和执行效率。比如在线游戏通常就是分布系统，里面所谓的“区”就是分布系统里子例程。而分布式数据库其实也可以称作分布式系统，数据持久化层是分布的（数据存在不同的数据库中，可交互，有一套综管系统来维护数据的完整性和准确性）。所以说分布式系统更准确地说是一种系统构架概念，不是一种技术。

提高查询速度。

1、用程序中，

保证在实现功能的基础上，尽量减少对数据库的访问次数；

通过搜索参数，尽量减少对表的访问行数

最小化结果集，从而减轻网络负担；

够分开的 *** 作尽量分开处理，提高每次的响应速度；

在数据窗口使用

SQL 时，尽量把使用的索引放在选择的首列；

算法的结构尽量简单；

在查询时，不要过多地使用通配符如

SELECT FROM T1 语句，要用到几列就选择几列如：

SELECT COL1,COL2 FROM T1 ；

在可能的情况下尽量限制尽量结果集行数如：

SELECT TOP 300 COL1,COL2,COL3 FROM T1,

因为某些情况下用户是不需要那么多的数据的。

不要在应用中使用数据库游标，游标是非常有用的工具，但比使用常规的、面向集的SQL语句需要更大的开销；

按照特定顺序提取数据的查找。

2、避免使用不兼容的数据类型。例如

float和int、char和varchar、binary和varbinary是不兼容的。数据类型的不兼容可能使优化器无法执行一些本来可以进行的优化 *** 作。

例如: 

SELECT name FROM employee WHERE salary ＞60000

在这条语句中,如salary字段是money型的,则优化器很难对其进行优化,因为60000是个整型数。 

我们应当在编程时将整型转化成为钱币型,而不要等到运行时转化。 

3、尽量避免在WHERE子句中对字段进行函数或表达式 *** 作，这将导致引擎放弃使用索引而进行全表扫描。如：

SELECT FROM T1 WHERE F1/2=100 应改为 

SELECT FROM T1 WHERE F1=1002 

SELECT FROM RECORD WHERE SUBSTRING(CARD_NO,1,4)=’5378’

应改为: 

SELECT FROM RECORD WHERE CARD_NO LIKE ‘5378%’

SELECT member_number, first_name, last_name 

FROM members

WHERE DATEDIFF(yy,datofbirth,GETDATE()) > 21

应改为: 

SELECT member_number, first_name, last_name 

FROM members

WHERE dateofbirth< DATEADD(yy,-21,GETDATE()) 

即：任何对列的 *** 作都将导致表扫描，它包括数据库函数、计算表达式等等，查询时要尽可能将 *** 作移至等号右边。

4、避免使用!=或＜＞、IS NULL或IS NOT NULL、IN ，NOT IN等这样的 *** 作符因为这会使系统无法使用索引,

而只能直接搜索表中的数据。例如:

SELECT id FROM employee WHERE id != 'B%' 

优化器将无法通过索引来确定将要命中的行数,因此需要搜索该表的所有行。

5、尽量使用数字型字段，一部分开发人员和数据库管理人员喜欢把包含数值信息的字段设计为字符型， 

这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接回逐个比较字符串中每一个字符，

而对于数字型而言只需要比较一次就够了。

6、合理使用EXISTS,NOT EXISTS子句。如下所示：

1SELECT SUM(T1C1)FROM T1

WHERE( (SELECT COUNT()FROM T2 WHERE T2C2=T1C2>0)

2SELECT SUM(T1C1) FROM T1 WHERE EXISTS( 

SELECT FROM T2 WHERE T2C2=T1C2) 

两者产生相同的结果，但是后者的效率显然要高于前者。因为后者不会产生大量锁定的表扫描或

是索引扫描。 

如果你想校验表里是否存在某条纪录，不要用count()那样效率很低，而且浪费服务器资源。

可以用EXISTS代替。如：

IF (SELECT COUNT() FROM table_name WHERE column_name = 'xxx')

可以写成： 

IF EXISTS (SELECT FROM table_name WHERE column_name = 'xxx') 

经常需要写一个T_SQL语句比较一个父结果集和子结果集，

从而找到是否存在在父结果集中有而在子结果集中没有的记录，如： 

1SELECT ahdr_key FROM hdr_tbl a

---- tbl a 表示 tbl 用别名a代替

WHERE NOT EXISTS (SELECT FROM dtl_tbl b WHERE ahdr_key = bhdr_key) 

2SELECTahdr_key FROM hdr_tbl a LEFT JOIN dtl_tbl b ON ahdr_key = bhdr_key 

WHERE bhdr_key IS NULL 

3SELECT hdr_key FROM hdr_tbl WHERE hdr_key NOT IN (SELECT hdr_key FROM dtl_tbl)

三种写法都可以得到同样正确的结果，但是效率依次降低。

7、尽量避免在索引过的字符数据中，使用非打头字母搜索。这也使得引擎无法利用索引。

见如下例子：SELECT FROM T1 WHERE NAME LIKE ‘%L%’

SELECT FROM T1 WHERE SUBSTING(NAME,2,1)=’L’ 

SELECT FROM T1 WHERE NAME LIKE ‘L%’

即使NAME字段建有索引，前两个查询依然无法利用索引完成加快 *** 作，引擎不得不对全表所

有数据逐条 *** 作来完成任务。而第三个查询能够使用索引来加快 *** 作。 

8、充分利用连接条件，在某种情况下，两个表之间可能不只一个的连接条件，这时在 

WHERE 子句中将连接条件完整的写上，有可能大大提高查询速度。例：

SELECT SUM(AAMOUNT) FROM ACCOUNT A,CARD B WHERE ACARD_NO = BCARD_NO 

SELECT SUM(AAMOUNT) FROM ACCOUNT A,CARD B WHERE ACARD_NO = BCARD_NO 

AND AACCOUNT_NO=BACCOUNT_NO

第二句将比第一句执行快得多。 

9、消除对大型表行数据的顺序存取，尽管在所有的检查列上都有索引，但某些形式的

WHERE子句强迫优化器使用顺序存取。如： 

SELECT FROM orders WHERE (customer_num=104 AND order_num>1001) OR

order_num=1008 解决办法可以使用并集来避免顺序存取： 

SELECT ＊FROM orders WHERE customer_num=104 AND order_num>1001

UNION SELECT ＊FROM orders WHERE order_num=1008 这样就能利用索引路径处理查询。 

10、避免困难的正规表达式。

LIKE关键字支持通配符匹配，技术

1、选取最适用的字段属性

MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。因此，在创建表的时候，为了获得更好的性能，我们可以将表中字段的宽度设得尽可能小。

2、使用连接（JOIN）来代替子查询(Sub-Queries)

MySQL从41开始支持SQL的子查询。这个技术可以使用SELECT语句来创建一个单列的查询结果，然后把这个结果作为过滤条件用在另一个查询中。例如，我们要将客户基本信息表中没有任何订单的客户删除掉，就可以利用子查询先从销售信息表中将所有发出订单的客户ID取出来，然后将结果传递给主查询。

3、使用联合(UNION)来代替手动创建的临时表

MySQL从40的版本开始支持union查询，它可以把需要使用临时表的两条或更多的select查询合并的一个查询中。在客户端的查询会话结束的时候，临时表会被自动删除，从而保证数据库整齐、高效。使用union来创建查询的时候，我们只需要用UNION作为关键字把多个select语句连接起来就可以了，要注意的是所有select语句中的字段数目要想同。下面的例子就演示了一个使用UNION的查询。

4、事务

尽管我们可以使用子查询（Sub-Queries）、连接（JOIN）和联合（UNION）来创建各种各样的查询，但不是所有的数据库 *** 作都可以只用一条或少数几条SQL语句就可以完成的。更多的时候是需要用到一系列的语句来完成某种工作。但是在这种情况下，当这个语句块中的某一条语句运行出错的时候，整个语句块的 *** 作就会变得不确定起来。设想一下，要把某个数据同时插入两个相关联的表中，可能会出现这样的情况：第一个表中成功更新后，数据库突然出现意外状况，造成第二个表中的 *** 作没有完成，这样，就会造成数据的不完整，甚至会破坏数据库中的数据。要避免这种情况，就应该使用事务，它的作用是：要么语句块中每条语句都 *** 作成功，要么都失败。换句话说，就是可以保持数据库中数据的一致性和完整性。事物以BEGIN关键字开始，COMMIT关键字结束。在这之间的一条SQL *** 作失败，那么，ROLLBACK命令就可以把数据库恢复到BEGIN开始之前的状态。

5、锁定表

尽管事务是维护数据库完整性的一个非常好的方法，但却因为它的独占性，有时会影响数据库的性能，尤其是在很大的应用系统中。由于在事务执行的过程中，数据库将会被锁定，因此其它的用户请求只能暂时等待直到该事务结束。如果一个数据库系统只有少数几个用户来使用，事务造成的影响不会成为一个太大的问题；但假设有成千上万的用户同时访问一个数据库系统，例如访问一个电子商务网站，就会产生比较严重的响应延迟。其实，有些情况下我们可以通过锁定表的方法来获得更好的性能。

6、使用外键

锁定表的方法可以维护数据的完整性，但是它却不能保证数据的关联性。这个时候我们就可以使用外键。

7、使用索引

索引是提高数据库性能的常用方法，它可以令数据库服务器以比没有索引快得多的速度检索特定的行，尤其是在查询语句当中包含有MAX(),MIN()和ORDERBY这些命令的时候，性能提高更为明显。

希望可以帮到你，谢谢！

在ASP中优化数据库处理

ASP是一个WEB服务器端的开发环境，它提供了一种简单易学的脚本（VBScript或Jscript），并带有许多内置的对象，从而提供了一条简捷的编程之路。更为重要的是，ASP中提供了ADO对象，让程序员可以轻松 *** 作各种数据库，从而可以产生和运行动态的、交互的WEB服务应用程序。目前，国内很多电子商务站点都采用了ASP技术来与数据库交互，为用户提供各类服务。

由于电子商务站点的大部分信息都存放在数据库中，要提高WEB的响应速度，建立高性能的电子商务站点，很大一部分取决于ASP与数据库之间的处理性能。因此，在ASP编写时，要注意数据库处理方法。

1、 使用Connection pool机制

在数据库处理中，资源花销最大的是建立数据库连接，而且用户还会有一个较长的连接等待时间。若每一个用户访问时，都重新建立连接，不仅用户要长时间等待，而且系统有可能会由于资源消耗过大而停止响应。如果能够重用以前建立的数据库连接，而不是每次访问时都重新建立连接，则可以很好地解决这些问题，从而提高整个系统的性能。在IIS+ASP处理体系中，采用了Connection pool机制来保证这一点。

Connection pool的原理是，IIS+ASP体系中维持了一个连接缓冲池，建立好的数据库连接在ASP程序中的断开都是逻辑断开，而实际的物理连接被存储在池中并被维护。这样，当下一个用户访问时，直接从连接缓冲池中取得一个数据库连接，而不需重新连接数据库，因此，可以大大地提高系统的响应速度。

为了正确使用Connection pool时，必须注意以下几点：

a) 在MDAC20以前的版本中，必须经过数据库驱动程序的配置才能使用Connection Pool；在以后的版本中（比如MDAC21），缺省是使用Connection Pool机制。具体配置情况可以参见微软公司的站点（）。

顺便提一句，在使用ORACLE数据库时，最好使用微软提供的驱动程序。

b) 每次数据库连接串参数必须相同，否则会被认为是不同的连接而重新去连接数据库，而不是使用缓冲池中的连接。最好的做法是将连接串存储在Application变量中，所有的程序在建立连接时使用Application变量的值。

c) 为了更好地使用和维护连接缓冲池，建议在程序中使用以下的方法对数据库连接进行 *** 作，因为隐式使用数据库连接时不能利用缓冲池的机制：

¨ 显示地创建连接对象: Set conn=ServerCreateObject(“Adodbconnection”)

¨ 建立数据库连接：connopen Application(“connection_string”),…

¨ 进行数据库 *** 作：…

¨ 显式地关闭连接对象：connclose

2、 利用直接的Ole DB驱动程序

在Asp中，通过ADO可以使用两种方式连接数据库，一种是传统的ODBC方式，一种是Ole DB方式。由于ADO是建立在Ole DB技术上的，为了支持ODBC，必须建立相应的Ole DB 到ODBC的调用转换（如MS Oledb provider for ODBC）。而使用直接的Ole DB方式（如MS Oledb provider for Sql, Oracle），则不需转换，从而提高处理速度，同时，还能利用Ole DB的新特性。

3、 在内存中缓存ADO对象或其内容

通常，在ASP程序中，都会涉及到一些存储在数据库中的常用信息，如省份列表，商品分类等，这些信息对于每一个访问用户都是相同的。若每一个用户访问时，都要去数据库里取出来，然后显示给用户，不仅会使数据库服务器负载加重，无法快速服务于更重要的事务处理，而且WEB服务器也必须不停地创建ADO对象，消耗大量资源，导致了当用户很多时几乎失去响应。若能把一些常用信息事先存储在内存中，当用户访问时，直接从内存中取出，显示给用户，则可以大大减小系统的压力，提高响应速度。

比如，我们可以把已经取得了数据的RecordSet对象存储在Application变量中，当用户访问时，从Application变量中取得RecordSet对象，而不需再次建立数据库连接；也可以将RecordSet对象里的数据以其他方式存储，比如存储在数组中，然后再将数组存储在Application变量中，使用时用数组的方式读取。

需要注意的是，一个对象要存储在Application变量中，线程模式必须是Both；对于不满足该条件的对象，必须以其他方式，比如转换成数组的方式存储在Application变量中，这也是上面所说的将内容存储在数组中的原因。

4、 使用数字序列

在Asp程序中，从诸如RecordSet中读取数据时，为了方便，常使用数据库列名的方式进行：

Responsewrite rs(“fieldnameN”)

而很少采用该数据库列名所在的数字序列来读取，即：

Responsewrite rs(N)

其实，为了从RecordSet得到列值，ADO必须将列名转化为数字序列，因此，若直接使用数字序列，则可以提高读取速度。若感觉使用数字序列，程序可读性不直观，可以采用建立常量的方法，定义：

const FIELDNAME1 1

5、 使用数据库过程(procedure)

在电子商务站点中，尤其是要进行交易的站点，为了完成交易，可能需要多次查询大量的信息，用于判定是非，然后更新入库。若在编写Asp时，直接在一个程序中作多次数据库 *** 作，不仅IIS要创建很多ADO对象，消耗资源，而且加重了数据库服务器的负担，增大了网络流量。若把多次数据库 *** 作流程定义为一个数据库过程，用如下方式调用：

connectionexecute “”

则可以利用数据库的强大性能，大大减轻Web系统的压力，而且由于页面内容与业务分开，管理维护也变得方便。

6、 使用优化过的sql语句

对于电子商务网站，最主要的就是要保证，不论访问用户的多少，系统都要有足够快的响应速度。由于在Asp技术中，ADO对象消耗的资源是非常大的，若一个sql语句要执行很长的一段时间，对整个资源也将一直占用，使系统没有足够的资源服务于其它用户。因此，尽量使用优化过的sql语句，减少执行时间。比如，不使用在in语句中包含子查询的语句，充分利用索引。

7、 利用数据库的特性

ADO是一套通用的对象控件，本身没有利用数据库的任何特性。但若在Asp程序编写时，有意识地考虑结合数据库的特性，往往可以有很好的效果。

比如，Oracle数据库服务器对于执行过的sql语句，通常都经过了分析优化，并存储在一个sql内存缓冲区中，当下次同样的sql语句请求时，直接从内存缓冲区取出执行，不再进行分析优化，从而可以大幅度提高性能。这就要求在Asp程序编写时，尽量使用相同的Sql语句，或者参数化的Sql语句：

Set cmd=Servercreateobject(“adodbcommand”)

cmdCommandText=”select from product where productcode=”

8、 用时创建，用完释放

在前面也提到过，ADO对象是非常消耗资源的，因此一定要牢牢记住，只在用到ADO对象时才创建，用完后马上释放：

set rs=Servercreateobject(“adodbrecordset”)

…

rsclose

set rs=nothing

愿您愉快地编程，让人们享受社会信息化所带来的好处。

第1条语句：建议把子查询（SELECT gsid, max(dateandtime)as dt from info group by gsid ) i2 on i1gsid = i2gsid and i1dateandtime = i2dt)创建成一个视图VIEW，看看能不能加快查询，你可以试试，我这里没有你的数据无法测试，经验之谈，希望对你有帮助

其他的优化方法你可以考虑根据你的表情况从索引和jsp页面缓存的角度改善这个问题，具体的可以HI我，我们详谈。

1、使你的数据库结构规范化，但是不要求一定达到第三范式，为了显示和打印目的可以有数据冗余2、评估你的系统中对性能影响的关键处，减少被频繁访问的核心表的数量，并在这些核心表上重点优化索引，表结构（尽量紧凑）。典型的核心表是代码表。3、对于统计类应用，如果可能应写成触发器和存储过程，这样就有可能把一个消耗大量时间的统计运算分布到每INSERT，DELETE，或者UPDATE来处理，从而极大提高查询类 *** 作的速度。查询选择群居索引最有效。其他索引也要针对业务进行选择。由于维护索引也要消耗系统资源和时间，所以过多的索引对性能是损害甚至是毫无效果的。5、如果可能，可以利用大数据库对SQL的一些特殊规定来进一步优化，比如查询暗示。6、适当选择硬件，综合考虑CPU，内存，I/O系统的性能，以当前的CPU，内存配置来看，很多数据库系统的瓶颈出在I/O系统上。所以如果有可能，最好使用RAID。当然如果你有足够的财力，可以买更好的服务器，或者搞服务器集群就更利害啦。7、可能的话，尽量使用存储过程，因为存储过程的执行计划可以重复使用，而且不需要象普通由CLIENT提交的SQL那样进行处理和编译。8、检查你的应用程序设计，如果有可能，尽量减少查询次数和在网络上往返的数据。为了获取少量字段而写SELECT 对性能的损害也比较利害。9、在应用程序中协调并发和一致性之间的矛盾。并不是所有业务都需要放在事务中。大量业务是允许脏读的，在不关键事务中使用脏读，或者读提交，可以大大降低DEADLOCK和进程之间彼此等待的机会，从而把由于互相锁定资源引起的等待降低到最小。不要在事务执行中进行大量计算或者与用户交互的 *** 作，因为事务的执行在要求上是不允许被打断的原子 *** 作（回滚是失败的），所以事务应该多而短小。长事务会锁住很多资源比较长的时间，因此也比较容易导致其他进程对资源的等待和死锁的机会。10、评估你开发系统的关键业务，在很多数据库系统对性能的要求是彼此矛盾的，比如OLTP应用和DSS是不同的。DSS倾向于使用各种索引加快检索速度，而大量的索引对OLTP则是负担。11、不要在应用程序中写怪异的SQL 查询，比如 WHERE money!40000，这样的语句，这种SQL查询，数据库的SQL优化器是无法进行优化的。12、定期维护和管理你的数据库系统，压缩掉那些垃圾空间，很多数据库系统执行类似删除，事务等 *** 作的时候，并不回收无用的物理空间。所以，制定一份合理的数据库维护计划，不要等日志文件或者LOG文件越长越大的时候才去整理数据库。还有很多很多要注意的东西，。。。。。。

以上就是关于如何利用多线程提高DB插入数据的效率全部的内容，包括:如何利用多线程提高DB插入数据的效率、数据库的表不变，通过什么手段能提高查询速度、程序需要频繁调用数据库，该如何优化等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！