cPickle大量数据

cPickle大量数据

这是一个坏主意吗？

确实是的。

您试图一次将7GB的压缩图像数据全部加载到内存中（对于800k 256 * 256 RGB文件，大约为195
GB）。这是行不通的。您必须找到一种可以逐张更新CNN的方法，并且可以随时保存状态。

还请考虑您的CCN参数集的大小。泡菜不是为大量数据而设计的。如果您需要存储GB的神经网络数据，那么使用数据库会更好。但是，如果神经网络参数集只有几个MB，则泡菜会很好。

您可能还想看一下的文档

pickle.HIGHEST_PROTOCOL

，因此您不会受制于旧的未优化的pickle文件格式。