python– 为什么加载这个文件占用这么多内存？

概述试图将文件加载到python中.这是一个非常大的文件(1.5Gb),但我有可用的内存,我只想做一次(因此使用python,我只需要对文件进行一次排序,因此python是一个简单的选择).我的问题是加载此文件会导致大量内存使用.当我将大约10％的行加载到内存中时,Python已经使用了700Mb,这显然太多了.脚本挂起大约50％,使用3.03 Gb的实内存(并

试图将文件加载到python中.这是一个非常大的文件(1.5Gb),但我有可用的内存,我只想做一次(因此使用python,我只需要对文件进行一次排序,因此python是一个简单的选择).

我的问题是加载此文件会导致大量内存使用.当我将大约10％的行加载到内存中时,Python已经使用了700Mb,这显然太多了.脚本挂起大约50％,使用3.03 Gb的实内存(并缓慢上升).

我知道这不是排序文件最有效的方法(内存方式),但我只是想让它工作,所以我可以继续处理更重要的问题：D所以,下面的python代码导致了什么问题大量内存使用：

print 'Loading file into memory'input_file = open(input_file_name,'r')input_file.readline() # Toss out the headerlines = []totallines = 31164015.0currentline = 0.0printEvery100000 = 0for line in input_file:    currentline += 1.0    lined = line.split('\t')    printEvery100000 += 1    if printEvery100000 == 100000:        print str(currentline / totallines)        printEvery100000 = 0;    lines.append( (lined[timestamp_pos].strip(),lined[personID_pos].strip(),lined[x_pos].strip(),lined[y_pos].strip()) )input_file.close()print 'Done loading file into memory'

编辑：如果有人不确定,普遍的共识似乎是每个分配的变量会占用越来越多的内存.我在这种情况下“修复”了1)调用readlines(),它仍然加载所有数据,但每行只有一个’string’变量开销.这使用大约1.7Gb加载整个文件.然后,当我调用lines.sort()时,我将一个函数传递给key,该函数在选项卡上分割并返回正确的列值,转换为int.这在计算上是缓慢的,并且总体上是内存密集型的,但它可以工作.今天学到了关于变量分配的大量报道：D最佳答案这是对所需内存的粗略估计,基于从您的示例派生的常量.至少,您必须为每个分割线计算Python内部对象开销,以及每个字符串的开销.

它估计9.1 GB用于将文件存储在内存中,假设以下常量稍微偏离,因为您只使用了每行的一部分：

> 1.5 GB文件大小
> 31,164,015总线
>每行分成4个列表

码：

import sysdef sizeof(lst):    return sys.getsizeof(lst) + sum(sys.getsizeof(v) for v in lst)GIG = 1024**3file_size = 1.5 * GIGlines = 31164015num_cols = 4avg_line_len = int(file_size / float(lines))val = 'a' * (avg_line_len / num_cols)lst = [val] * num_colsline_size = sizeof(lst)print 'avg line size: %d bytes' % line_sizeprint 'approx. memory needed: %.1f GB' % ((line_size * lines) / float(GIG))

返回：

avg line size: 312 bytesapprox. memory needed: 9.1 GB

总结

以上是内存溢出为你收集整理的python – 为什么加载这个文件占用这么多内存？全部内容，希望文章能够帮你解决python – 为什么加载这个文件占用这么多内存？所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。