jdbc批量插入几百万数据怎么实现

jdbc批量插入几百万数据怎么实现,第1张

1,关闭目标表上的索引。

2,关闭数据库日志

3,增加数据库的临时表空间。

4,分批次的提交。

5,可以考虑异步提交。

6,在分布式条件下,还可以考虑在不同的数据库结点提交,有底层的消息系统完成数据扩展。

 如果成批地处理插入和更新 *** 作,就能够显著地减少它们所需要的时间。Oracle提供的Statement和 CallableStatement并不真正地支持批处理,只有PreparedStatement对象才真正地支持批处理。我们可以使用addBatch()和executeBatch()方法选择标准的JDBC批处理,或者通过利用PreparedStatement对象的setExecuteBatch()方法和标准的executeUpdate()方法选择速度更快的Oracle专有的方法。要使用Oracle专有的批处理机制,可以以如下所示的方式调用setExecuteBatch():

PreparedStatement pstmt3D null

try {

((OraclePreparedStatement)

pstmt).setExecuteBatch(30)

...

pstmt.executeUpdate()

}

通过jdbc就可以执行批量插入了。

以下案例:

1、逐条执行10万次

2、分批执行将10万分成m批,每批n条,分多种分批方案来执行。

/**

* 批处理执行

*

* @param m 批次

* @param n 每批数量

* @throws Exception 异常时抛出

*/

public static void testInsertBatch(int m, int n) throws Exception {

init()//初始化环境

Long start = System.currentTimeMillis()

for (int i = 0i <mi++) {

//从池中获取连接

Connection conn = myBroker.getConnection()

Statement stmt = conn.createStatement()

for (int k = 0k <nk++) {

String sql = "\n" +

"insert into testdb.tuser \n" +

"\t(name, \n" +

"\tremark, \n" +

"\tcreatetime, \n" +

"\tupdatetime\n" +

"\t)\n" +

"\tvalues\n" +

"\t('" + RandomToolkit.generateString(12) + "', \n" +

"\t'" + RandomToolkit.generateString(24) + "', \n" +

"\tnow(), \n" +

"\tnow()\n" +

")"

//加入批处理

stmt.addBatch(sql)

}

stmt.executeBatch() //执行批处理

stmt.close()

myBroker.freeConnection(conn)//连接归池

}

Long end = System.currentTimeMillis()

System.out.println("批量执行" + m + "*" + n + "=" + m * n + "条Insert *** 作,共耗时:" + (end - start) / 1000f + "秒!")

}


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/bake/11812594.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-18
下一篇 2023-05-18

发表评论

登录后才能评论

评论列表(0条)

保存