mybatis大数据查询优化：fetchSize

这两天做到一个需求，需要一次性将一张数据表里的所有资源数据中的位置信息录入到redis中，表中的数据有几百万起步，采用的是java定时任务，循环每次查出一万条数据存入redis，测试时发现插入效率非常慢，经过排查发现是通过mybatis查询数据的耗时超过了总耗时的99%，我这台机器上是每查询一万条数据返回耗时87s左右。

解决方法：

在mapper.xml中的<select>中加入fetchSize参数，设置的大一些，如下：

我也是第一次用这个参数，这效果，感觉非常神奇！

简单参数解析：

通过JDBC取数据时，默认是10条数据取一次，即fetch size为10（根据oracle的文档，默认的fetchSize是10），如果增大这个数字可以减少客户端与oracle的往返，减少响应时间，网上有建议这个数字不要超过100，要不然对中间件内存消耗大。

虽然说超过100不好，但是我设置了10000，结果看我的破电脑还是扛得住的，但是本着专研精神，我将fatch size设置为1000，看看效果会不会打折扣，结果用时如下：

总结：

在使用mybatis一次查询大量数据时确实可以通过怎大fatchSize的值来大大提高查询效率，使用也非常简单，具体fatchSize设为多少要根据自己具体的业务需要和机器的配置来综合判定。

待解决问题

以上方式在xml中可以轻松设置，但是使用mybatis-plus的简单查询时并不用手动写xml查询，我也不知道如何定制其fatchSize的值，我目前的解决方式是手动在xml中再写一个查询方法来调用，但是感觉这样做非常的麻烦，如果你知道如何在调用mybatis-plus的BaseMapper查询方法时配置fatchSize，请留言告知，十分感谢！

本文主要研究一下jdbc statement的fetchSize

但是这个有几个要求：

postgresql-9.4.1212.jre7-sources.jar!/org/postgresql/jdbc/PgPreparedStatement.java

postgresql-9.4.1212.jre7-sources.jar!/org/postgresql/jdbc/PgPreparedStatement.java

postgresql-9.4.1212.jre7-sources.jar!/org/postgresql/jdbc/PgResultSet.java

对于查询数据量大的场景下，非常有必要设置fetchSize，否则全量拉取很容易OOM，但是使用fetchSize的时候，要求数据能够在遍历resultSet的时候及时处理，而不是收集完所有数据返回回去再去处理。

在老版本的MySQL 3.22中，MySQL的单表限大小为4GB，当时的MySQL的存储引擎还是ISAM存储引擎。但是，当出现MyISAM存储引擎之后，也就是从MySQL 3.23开始，MySQL单表最大限制就已经扩大到了64PB了（官方文档显示）

---