python– 为什么导入numpy在Linux上添加1 GB的虚拟内存?

python– 为什么导入numpy在Linux上添加1 GB的虚拟内存?,第1张

概述我必须在资源受限的环境中运行python,只有几GB的虚拟内存.更糟糕的是,作为应用程序设计的一部分,我必须从我的主进程中派出子进程,所有这些都在fork上接收相同数量的虚拟内存的写时复制分配.结果是,在仅分配了1-2个孩子之后,过程组击中了天花板并关闭了所有东西.最后,我无法删除numpy作为依赖;这是一个严格的要求.关于如何降低初始内存分配的任何建议?例

我必须在资源受限的环境中运行python,只有几GB的虚拟内存.更糟糕的是,作为应用程序设计的一部分,我必须从我的主进程中派出子进程,所有这些都在fork上接收相同数量的虚拟内存的写时复制分配.结果是,在仅分配了1-2个孩子之后,过程组击中了天花板并关闭了所有东西.最后,我无法删除numpy作为依赖;这是一个严格的要求.

关于如何降低初始内存分配的任何建议?

例如

>更改导入时分配给numpy的默认金额?
>禁用该功能并强制python / numpy动态分配?

细节:

红帽企业Linux服务器版本6.9(圣地亚哥)
Python 3.6.2
numpy的> = 1.13.3

裸露的翻译:

import osos.system('cat "/proc/{}/status"'.format(os.getpID()))# ... VmRSS: 7300 kB# ... VmData: 4348 kB# ... VmSize: 129160 kBimport numpyos.system('cat "/proc/{}/status"'.format(os.getpID()))# ... VmRSS: 21020 kB# ... VmData: 1003220 kB# ... VmSize: 1247088 kB  
最佳答案谢谢你,skullgoblet1089,提出关于SO和https://github.com/numpy/numpy/issues/10455的问题,以及回答.
引用你的2018-01-24帖子:

通过导出OMP_NUM_THREADS = 4减少线程将降低VM分配.

总结

以上是内存溢出为你收集整理的python – 为什么导入numpy在Linux上添加1 GB的虚拟内存?全部内容,希望文章能够帮你解决python – 为什么导入numpy在Linux上添加1 GB的虚拟内存?所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错,欢迎将内存溢出网站推荐给程序员好友。

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/yw/1048597.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-05-25
下一篇 2022-05-25

发表评论

登录后才能评论

评论列表(0条)

保存