Android Greendao插入10万条数据OOM

下面写个小程序测试一下。

private Runnable runnable = new Runnable() { @Override

public void run() {

List<Book>bookList = new ArrayList<>() for (int i = 0i <5000i++) {

Book book = new Book()

book.setUuid(UUID.randomUUID().toString())

book.setName("name") //其他set方法略

bookList.add(book)

} try {

Thread.sleep(1000)

} catch (InterruptedException e) {

e.printStackTrace()

}

mBookDao.insertOrReplaceInTx(bookList)

Log.d(TAG, "插入book数据：" + bookList.size())

}

}private void insert() {

Log.d(TAG, "线程池开始")

mBookDao.deleteAll() long time = System.currentTimeMillis()

ExecutorService executorService = Executors.newFixedThreadPool(3) for (int i = 0i <200i++) {

executorService.submit(runnable)

}

executorService.shutdown() for () {if (executorService.isTerminated()) {break

}try {

executorService.awaitTermination(1, TimeUnit.SECONDS)

} catch (InterruptedException e) {

e.printStackTrace()

}

}

Log.d(TAG, "线程池完成：" + (System.currentTimeMillis() - time) + "ms")

}

runnable任务模拟1秒从网络拉取5000条数据并插入DB，insert方法使用线程池执行runnable任务。

执行时间超过1000秒，查看内存占用超过180M。如果数据量更多，肯定会发生OOM，基本上可以定位是greenDAO的问题。现在需要在两个方面优化，一是寻找内存占用的原因，二是提高数据的插入速度。

查看内存堆

内存的占用随着insert的数据量越多而递增，从中间dump出java堆，得到hprof文件。注意这个文件不是标准格式，只能用AndroidStudio打开。

图1

右击文件导出标准的hprof文件，用更加强大的MAT分析。

图2

图3

看到IdentityScope占了一半内存，可以确定是greenDAO缓存了插入数据。

mBookDao.insertOrReplaceInTx(bookList)mBookDao.detachAll()

greenDAO的缓存功能是有用的，没必要关闭，改成在插入数据后，调用一次detachAll，将identityScope清空。

public void detachAll() {if (identityScope != null) {

identityScope.clear()

}

}

重建索引

对表插入大量数据，如果中间没有涉及到业务，可以先失效索引，待插入完成后重建索引。

String sql = "drop index index_isbn"

mDb.execSQL(sql)

sql = "drop index index_publisherid"

mDb.execSQL(sql)

sql = "drop index index_author"

mDb.execSQL(sql)

插入数据前，drop掉表中的索引。没有见到greenDAO有 *** 作索引的方法，直接执行sql命令。

sql = "create index index_isbn on book(isbn)"

mDb.execSQL(sql)

sql = "create index index_publisherid on book(publisherid)"

mDb.execSQL(sql)

sql = "create index index_author on book(author)"

mDb.execSQL(sql)

插入数据完成后，重建索引。最后执行100w数据插入大约耗时450秒，比什么都不做快了两三倍。

异步 *** 作

上一个步骤的耗时包含了模拟网络和数据库 *** 作的时间，使用多线程将两个环节分离，可以减少总时间。

greenDAO提供了AsyncSession这个异步 *** 作类，使用daoSession.startAsyncSession()获取实例，内部实现使用了线程池和阻塞队列，原理很简单不用多讲。

mAsyncSession.runInTx(new Runnable() {@Override

public void run() {

mBookDao.insertOrReplaceInTx(bookList)

mBookDao.deleteAll()

}

})

获取数据后，提交给AsyncSession异步插入数据库。要注意在合适地方使用waitForCompletion，等待AsyncSession完成已有任务。如果获取数据速度很快，而 *** 作数据库很慢，会导致过多数据缓存在AsyncSession的内部阻塞队列。

最后测试一下100w数据插入数据库，耗时不到150秒，又快了几倍。

作者：展翅而飞

链接：https://www.jianshu.com/p/6589c6d3f551

来源：简书

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

关于greenDao的使用

第一篇How to get started ?

原文地址：http://greendao-orm.com/documentation/how-to-get-started/

该教程会带你浏览一个简单的greenDao示例工程。地址：https://github.com/greenrobot/greenDAO，该工程包含两个子工程：

DaoExample和DaoExampleGenerator。你可以clone到本地，运行或者直接在github上直接浏览。

如果你从git仓储中检出了DaoExample，可以直接像Android应用一样运行它。正如你所看到的，它就是一个简单的笔记本。可以添加新的note，

或者点击已存在的note进行删除。

预生成代码和创建表

在src-gen目录下，你可以找到一些已经生成的文件

1）Note.java 一个包含一个Note所有数据的java类。

2）NoteDao.java 一个DAO类，是 *** 作Note 对象的接口。

你可以通过DaoExampleGenerator工程再次生成Note和NoteDao。

使用DaoMaster类可以获得一个方便的SQLiteOpenHelper:

new DaoMaster.DevOpenHelper(this, "notes-db", null)

你不必编写“CREATE TABLE” SQL语句，greenDao会为你完成。

插入和删除Note对象

创建了Note表后，就可以存储一些note到数据库里了。这是在NoteActivity类里完成的。在onCreate方法里，我们准备了一个DAO对象：

1 2 3daoMaster = new DaoMaster(db)daoSession = daoMaster.newSession()noteDao = daoSession.getNoteDao()

添加一个新的note到数据库中：

1 2 3Note note = new Note(null, noteText, comment, new Date())noteDao.insert(note)Log.d("DaoExample", "Inserted new note, ID: " + note.getId())

该示例只是创建并插入了一个java对象。但insert方法返回的时候，数据库的ID已经分发到了刚插入的Note对象上了。在log中可以看到。

删除一条note：非常简单明，在onListItemClick方法中可以看到

1noteDao.deleteByKey(id)

你也可以看一下其它的DAO方法：loadAll、update。

数据模型化和代码的生成

为了扩展note或者创建新的实体，你可以看一下DaoExampleGenerator工程。它包含了一个单例的类，该类中包含了数据模型的定义代码。

1 2 3 4 5 6 7Schema schema = new Schema(1, "de.greenrobot.daoexample")Entity note= schema.addEntity("Note")note.addIdProperty()note.addStringProperty("text").notNull()note.addStringProperty("comment")note.addDateProperty("date")new DaoGenerator().generateAll("../DaoExample/src-gen", schema)

正如你所看到的，你可以创建一个Schema对象，通过它你可以添加实体，一个实体连接了一张数据库表。

一个实体包含一些属性，它们可以被映射到数据库的columns。

一旦schema定义完成，你可以触发代码生成器，Note.java和NoteDao.java文件就是这样被创建的。

下一步：

对greenDao有了初步的了解，你可以自己动手试试了。当然，请查看下文档http://greendao-orm.com/documentation/，

如果没有找到你想要的，可以使用support options

第二篇 介绍

GreenDao是一个用于Android开发的对象/关系映射(ORM)工具。它向SQLite数据库提供了一个对象导向的接口。像GreenDao这样的ORM工具不仅为你省去了很多的重复工作，而且提供了更简便的 *** 作接口。

代码生成的工程结构图

为了在你的Android项目中使用GreenDao，你需要创建一个二级工程：“generator project”，它的任务就是为你的domain生成具体的代码。这个生成器工程就是一个普通的java工程。确保greenDao 的greenDao-generator.jar和 freemarker.jar 在classpath中。创建一个可执行的java类，构建你的实体模型并触发代码生成器，更多细节，可以参看 modelling文档。

核心类

一旦生成了指定的代码，就可以在你的android工程中使用greenDao了。别忘记在你的android工程中引入greenDao的核心jar包：greenDao.jar。以下是GreenDao的一些必要接口。

DaoMaster：

daomaster以一定的模式持有数据库对象（SQLiteDatabase）并管理一些DAO类（而不是对象）。

有一个静态的方法创建和drop数据库表。它的内部类OpenHelper和DevOpenHelper是SQLiteOpenHelper的实现类，用于创建SQLite数据库的模式。

DaoSession：

管理指定模式下所有可用的DAO对象，你可以通过某个get方法获取到。DaoSession提供一些通用的持久化方法，比如对实体进行插入，加载，更新，刷新和删除。最后DaoSession对象会跟踪identity scope，更多细节，可以参看 session文档。

DAOs（Data access objects）:

数据访问对象，用于实体的持久化和查询。对于每一个实体，greenDao会生成一个DAO，相对于DaoSession它拥有更多持久化的方法，比如：加载全部，插入（insertInTx，语境不明了，暂且简单的翻译成插入）。

实体

可持久化的对象。通常，实体可以被生成，不用手动去写。在数据库的行中，使用的都是标准的java对象的属性（比如POJO或者JavaBean）。

1 2 3 4user.addIdProperty()user.addStringProperty("name")user.addStringProperty("password")user.addIntProperty("yearOfBirth")

在示例中有一个Note实体，通过它的DAO，我们可以对指定的实体进行持久化的 *** 作。

第三篇 实体的模型化

使用greenDao的第一步：创建一个代表持久化数据的实体模型。greenDao会依赖该模型为Dao生成java代码。

该模型本身是用java代码定义的，很简单：在DaoExampleGenerator工程的基础上创建一个java对象。具体你可以参看：

http://greendao-orm.com/documentation/how-to-get-started/

下面的插图描绘了元模型，展示了一些用于描述domain具体模型的类。

Schema

实体数据schema是你定义的第一个对象，通过schema的版本和缺省的java包调用构造器。

1Schema schema = new Schema(1, "de.greenrobot.daoexample")

这个缺省的java包会在greenDao生成实体、DAOs、和JUnit测试的时候使用。如果那些缺省值是正确的，那么就完成了第一步。

如果你希望将DAO和测试类创建到不同的包中，可以重新定义schema的定义代码：

1 2schema.setDefaultJavaPackageTest("de.greenrobot.daoexample.test")schema.setDefaultJavaPackageDao("de.greenrobot.daoexample.dao")

对于实体，该schema也有两个缺省的标记，它们是可以被复写的。这些标记可以区分实体是否是激活状态，是否应该使用sections。这些特性在文档里并没有，你可以看一下发布源码中的测试工程。

1 2schema2.enableKeepSectionsByDefault()schema2.enableActiveEntitiesByDefault()

实体

一旦你拥有了一个schema对象，你就可以使用它去添加实体了。

1Entity user = schema.addEntity("User")

一个实体有不同的可变更设置，更重要的是，你可以添加一些属性到实体。

1 2 3 4user.addIdProperty()user.addStringProperty("name")user.addStringProperty("password")user.addIntProperty("yearOfBirth")

除了实体，还可以添加，一对一和一对多的关系。

属性和主键

以上的实体部分展示了如何给一个实体添加属性，实体的addXXXProperty方法返回一个PropertyBuilder对象，可以用于配制属性，

例如，使用columnName去复写缺省的或者你提供的column name。在ProperyBuilder对象上调用getProperty方法去访问属性对象，

对于指数（indices ）和关系的创建是有必要的。

创建主键的约束

现在实体必须拥有一个long或者Long类型的属性作为它们的主键，这是Android和SQLite推荐的实践方式。因为，在将来，greenDao要准备处理很多主键的脚本，但并不是每件事都能完全实现。为了解决这个问题，你可以使用一个long类型的键并且使用一个唯一的下标去处理这个预期的key属性。

缺省

greenDao会尝试以合理的缺省值进行工作，所以开发者不用单个的配置它们。比如，表和其列名是从实体和属性名中获取到的，而不是java中的驼峰。缺省的数据库名是大写的，单词间用下划线分隔开。比如：属性“creationDate”在数据库列中的映射为“CREATION_DATE”，

关系

一对多和多对多的关系在http://greendao-orm.com/documentation/relations/中有注释。

继承、接口、序列化

实体可以从其他非实体类继承，其父类可以通过setSuperclass(String)方法指定，注意：它可能会有其它的实体作为父类（但这里没有多态查询）。

比如：

1myEntity.setSuperclass("MyCommonBehavior")

通常，使用接口作为实体属性和行为的通用基类是比较好的。比如：一个实体A和B共享了一套属性，这些属性可以定义在C中。下面是一个序列化B的列子：

1 2 3entityA.implementsInterface("C")entityB.implementsInterface("C")entityB.implementsSerializable()

触发生成器

一旦你的实体schema放置好了，你可以触发代码生成器进行处理。在generator工程中，你可以实例化DaGenerator并调用generateAll中的一个方法：

1 2DaoGenerator daoGenerator = new DaoGenerator()daoGenerator.generateAll(schema, "../MyProject/src-gen")

你所需要的就是schema对象和目标文件夹，通常该文件夹就是你android工程的资源文件夹。如果你想把这些测试类放到其他目录下，可以把目的文件夹作为第三个参数传入。

保持独立性（Keep sections 保持自定义的代码不会被覆盖）

实体类在每一次生成器运行的时候都会被覆盖。greenDao允许添加自定义的代码到实体，通过“keep” ，可以满足它们。在schema中使用enableKeepSectinsByDefault()，或者setHasKeepSections(true)在选中的实体中。一旦使用，3个独立的部分会在实体中生成：

1 2 3 4 5 6 7 8// KEEP INCLUDES - put your custom includes here // KEEP INCLUDES END ... // KEEP FIELDS - put your custom fields here // KEEP FIELDS END ... // KEEP METHODS - put your custom methods here // KEEP METHODS END

现在，你可以在 KEEP [...] and KEEP [...] END.中写入你的代码。注意，不要修改KEEP注释。在该范围的代码会在代码重新生成的时候不被覆盖。对于备份或者提交代码时出现的意外错误，这是一个不错的选择解决方案。

ES新手入门学习的时候，经常会和MySQL做对比，一个索引可以理解为一个数据库，分片就可以理解为一张表被分割了shards_numbers - 1次，文档类型为type类型，在高版本中在逐渐被剔除。

ES官方也给出了答案：作者不希望不同类型的相同字段在同一个Lucene中。

索引的状态有：红色、黄色、绿色和黑色四种（ES插件可以看出来）。

green：健康状态，代表所有的主分片和副本分片都可用；

yellow：所有的主分片可用，部分副本分片不可用；

red：部分主分片不可用；

black：索引处于关闭状态，不对外进行交互，一般磁盘空间不足时ES会自动设置。

ES是一款近实时的搜索引擎，而非实时的搜索引擎。ES每秒产生一个新分段，新段先写入文件系统缓存（对读取可见），稍后再执行刷盘 *** 作。由于新段不会立即刷盘，这个过程如果出现意外情况，存在数据丢失的风险，通常做法是记录事务日志。

分片的目的不只是为了分割巨大的索引，还可以并发读。一个索引包含多个分片，一个分片是一个Lucene索引，一个Lucene索引又由很多分段组成，每一个分段都是一个倒排索引。

段合并：ES会选择大小相似的段进行合并，ES每次refersh都会生成一个Lucene段，每次查询都会轮流检查每一个段，查询完对结果进行合并，段越多，搜索也就越慢。由于分段的不变性（访问不需要加锁），更新删除 *** 作本质是标记删除，在段合并的过程中，标记删除的数据并不会写入到新段中，这样就达到了删除的目的。写 *** 作先写Lucene段，再写translog，如果先写translog，写入Lucene段失败，则还需要对translog进行回滚处理。

ES的只读和删除设置，是对索引和磁盘的一种保护机制，当然也可以手动设置索引的只读和删除，以下是ES自动触发的：

索引的别名 *** 作，比如要对一个月的所有索引（每天创建一个索引）进行处理，就可以为索引创建别名，一个索引可以有多个别名，一个别名也可以指向多个索引。

数据库

文章转载自李宇涛L，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

相关阅读

202

---