这里的问题是,JSON作为一种格式,通常会被完整解析,然后在内存中进行处理,这对于如此大量的数据显然是有问题的。
解决方案是将数据作为流使用-读取文件的一部分,进行处理,然后重复。
最好的选择似乎是使用ijson之类的东西
-一个将JSON作为流而不是作为块文件使用的模块。
欢迎分享,转载请注明来源:内存溢出
这里的问题是,JSON作为一种格式,通常会被完整解析,然后在内存中进行处理,这对于如此大量的数据显然是有问题的。
解决方案是将数据作为流使用-读取文件的一部分,进行处理,然后重复。
最好的选择似乎是使用ijson之类的东西
-一个将JSON作为流而不是作为块文件使用的模块。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)