java 怎么把5万条数据分批插入数据到mysql,之前插1,2万没事, 多了就内存溢出

你的事务控制问题。

大量数据插入的时候，可以将数据量分批，每次事务提交一批。

例如：

con.setAutoCommit(false)// 更改JDBC事务的默认提交方式

Statement stmt = conn.createStatement()

// 第一批 省略n条

stmt.addBatch("insert into dept values (52,'a','aa')")

stmt.addBatch("insert into dept values (53,'b','bb')")

stmt.addBatch("insert into dept values (54,'c','cc')")

stmt.executeBatch()

con.commit()//提交JDBC事务

stmt.close()

// 第二批 省略n条

stmt = conn.createStatement()

stmt.addBatch("insert into dept values (52,'a','aa')")

stmt.addBatch("insert into dept values (53,'b','bb')")

stmt.addBatch("insert into dept values (54,'c','cc')")

stmt.executeBatch()

con.commit()//提交JDBC事务

stmt.close()

// 第n批

。。。。。。

con.setAutoCommit(true)// 恢复JDBC事务的默认提交方式

conn.close()

用过POI的人都知道，在POI以前的版本中并不支持大数据量的处理，如果数据量过多还会常报OOM错误，

这时候调整JVM的配置参数

也不是一个好对策（注：

jdk在32位系统中支持的内存不能超过2个G，而在64位中没有限制，但是在64位的系统中，性能并不是太好

）,好在POI3.8版本新出来了一个SXSSFWorkbook对象，它就是用来解决大数据量以及超大数据量的导入导出 *** 作的，但是SXSSFWorkbook只支持.xlsx格式，不支持.xls格式的Excel文件。

这里普及一下，在POI中使用HSSF对象时，excel 2003最多只允许存6553数据，一般用来处理较少的数据量，这时对于百万级别数据，Excel肯定

容纳不了，而且在计算机性能稍低的机器上测试，就很容易导致堆溢出。当我升级到XSSF对象时，它可以直接支持excel2007以上版本，因为它采用

ooxml格式。这时excel可以支持1048576条数据，单个sheet表就支持近104

万条数据了,虽然这时导出100万数据能满足要求，但使用XSSF测试后发现偶尔还是会发生堆溢出，所以也不适合百万数据的导出。现在我们知道excel2007及以上版本可以轻松实现存储百万级别的数据，但是系统中的大量数据是如何能够快速准确的导入到excel中这好像是个难题，对于一般的web系统，我们为了解决成本，基本都是使用的入门级web服务器tomcat，既然我们不推荐调整JVM的大小，那我们就要针对我们的代码来解决我们要解决的问题。在POI3.8之后新增加了一个类，

SXSSFWorkbook

，采用当数据加工时不是类似前面版本的对象，它可以控制excel数据占用的内存，他通过控制在内存中的行数来实现资源管理，即当创建对象超过了设定的行数，它会自动刷新内存，将数据写入文件，

这样导致打印时，占用的CPU，和内存很少。但有人会说了，我用过这个类啊，他好像并不能完全解决，当数据量超过一定量后还是会内存溢出的，而且时间还很长。对你只是用了这个类，但是你并没有针对你的需求进行相应的设计，仅仅是用了，所以接下来我要说的问题就是，如何通过SXSSFWorkbook以及相应的写入设计来实现百万级别的数据快速写入。

我先举个例子，以前我们[数据库

中存在大量的数据，我们要查询，怎么办？我们在没有经过设计的时候是这样来处理的，先写一个集合，然后执行jdbc，将返回的结果赋值给list，然后再返回到页面上，但是当数据量大的时候，就会出现数据无法返回，内存溢出的情况，于是我们在有限的时间和空间下，通过分页将数据一页一页的显示出来，这样可以避免了[大数据

量数据对内存的占用，也提高了用户的体验，在我们要导出的百万数据也是一个道理，内存突发性占用，我们可以限制导出数据所占用的内存，

这里我先建立一个list容器，list中开辟10000行的存储空间，每次存储10000行，用完了将内容清空，然后重复利用

，这样就可以有效控制内存，所以我们的设计思路就基本形成了，所以分页数据导出共有以下3个步骤：

1、求数据库中待导出数据的行数

2、根据行数求数据提取次数

3、按次数将数据写入文件

---