mysql大量数据插入慢的问题

这个是需要做一些设置的。主要设置 rewriteBatchedStatements参数。原理如下：

MySQL Jdbc驱动在默认情况下会无视executeBatch()语句，把我们期望批量执行的一组sql语句拆散，一条一条地发给MySQL数据库，直接造成较低的性能。

只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL (jdbc:mysql://ip:port/db?rewriteBatchedStatements=true)。不过，驱动具体是怎么样批量执行的？　你是不是需要看一下内幕，才敢放心地使用这个选项？ 下文会给出答案。

另外，有人说rewriteBatchedStatements只对INSERT有效，有人说它对UPDATE/DELETE也有效。为此我做了一些实验（详见下文），结论是： 这个选项对INSERT/UPDATE/DELETE都有效，只不过对INSERT它为会预先重排一下SQL语句。

注：本文使用的mysql驱动版本是5.1.12

实验记录：未打开rewriteBatchedStatements时

未打开rewriteBatchedStatements时，根据wireshark嗅探出的mysql报文可以看出，

batchDelete(10条记录) => 发送10次delete 请求

batchUpdate(10条记录) => 发送10次update 请求

batchInsert(10条记录) => 发送10次insert 请求

也就是说，batchXXX()的确不起作用

实验记录：打开了rewriteBatchedStatements后

打开rewriteBatchedStatements后，根据wireshark嗅探出的mysql报文可以看出

batchDelete(10条记录) => 发送一次请求，内容为”delete from t where id = 1delete from t where id = 2delete from t where id = 3….”

batchUpdate(10条记录) => 发送一次请求，内容为”update t set … where id = 1update t set … where id = 2update t set … where id = 3 …”

batchInsert(10条记录) => 发送一次请求，内容为”insert into t (…) values (…) , (…), (…)”

对delete和update，驱动所做的事就是把多条sql语句累积起来再一次性发出去；而对于insert，驱动则会把多条sql语句重写成一条风格很酷的sql语句，然后再发出去。 官方文档说，这种insert写法可以提高性能（”This is considerably faster (many times faster in some cases) than using separate single-row INSERT statements”）

一个注意事项

需要注意的是，即使rewriteBatchedStatements=true, batchDelete()和batchUpdate()也不一定会走批量： 当batchSize <= 3时，驱动会宁愿一条一条地执行SQL。所以，如果你想验证rewriteBatchedStatements在你的系统里是否已经生效，记得要使用较大的batch.

更多细节看这个帖子：

blog.yemou.net/article/query/info/tytfjhfascvhzxcyt397

1.我们往数据库中导入的数据通常是有固定的模板的，也就是有列头，但是可能excel中的一条数据分布存储在不同的数据表中，那么我们怎么来导入了，我们可以在类文件中直接拼接sql语句插入，这样做的话我认为比较麻烦。我的做法是：在数据中建一个中间表暂且叫做Temp表跟excel中列一一对应，其中表中多加state列用来标识数据验证失败还是成功的（0代表数据没有问题，-1代表有问题）、failReason记录导入失败原因，然后再添加一个配置文件来做excel列和数据表的映射。 2.要导入的数据通常要做验证，那些不符合导入规则的数据时不允许或者不能导入的。我把数据分两步来验证，一部分在代码段验证，一部分在数据库验证。至于怎么分那就自己去根据情况分析了。我是把诸如字符长度限制，正则表达式规则限制等放 在代码段验证，把诸如数据库中字典值是否存在等要访问数据库的验证放在数据中验证，这样的话就可以减少访问数据库的次数。把再客户端验证过的数据，不管是通过的不同过的都插入到temp表中，只是state值不同。 3.然后怎么把插入temp中数据分别插入到不同的数据表中了，大家一定想到了触发器，没有错，我用的就是after触发器，在我把excel中的数据插入到temp表中的时候，那么就会触发after触发器，在触发器中对插入的数据进行处理，如果插入的数据state值为-1，代表在代码端的验证就没有通过，那么就不需要进行下一步处理了，如果state值为0，那么在触发器中接着处理，比如检测字典值在字典表中存不存在等，如果不满足要求就把temp表中的当前插入的记录state值改成-1，把校验失败原因更新到failReason字段中，不再处理。如果一切校验都没有问题的话，那么就编写插入语句，把数据插入到不同的表中去。 4.数据导入完成了，那么那些有问题数据怎么办了？把它查询出来生成一个按原模板后加一列“失败原因”导成excel文件，其实就是state值为-1的那些记录，然后返回给用户查看。 通过以上步骤之后那么整个导入功能就完成了，以上只是一种思路，望大家完善。 本站技术原创栏目文章均为中睿原创或编译，

原因有很多中可能，首先数据库应该对数据量大的表做index优化；其次检查你的sql语句是否用了最合适的方法，在多表查询时，where 之后的条件先接主键关联和int、long 型的条件，再解字符型，最后是folat型。。between ...and的条件也优先级放到后面去！

---