Matlab内存不足问题的解决
最近尝试采用matlab中的神经网络工具包做些试验,但是数据的规模比较大,在模型训练的过程中,总是返回“Out Of Memory”错误,而不能继续训练。尝试了几种可能的解决方案,最后总算解决,至少运行到现在还没有出现这种错误。
增加虚拟内存:在查看任务管理器发现物理内存为2GB,虚拟内存为共6GB,而观察matlab在运行过程中使用的内存没有超过2GB,因此不存在内存不足的问题。因此增加虚拟内存的方法是不可行的。
使用PACK:PACK可以将matlab中的变量导出到磁盘中,以增加可用内存。但是尝试之后,没有解决问题。
减少变量的内存开销:目前使用的变量都是必须的变量,不能再减小了。
64位架构:采用64位的软硬件架构,目前实验室条件下帆肆此不可行。
3GB切换(3GB switch):由于在windows上运行matlab时,如果内存的使用超过约1.7G左右就要出现这种错误,而无论你有多大的内存也没用。幸好现在在Windows XP上,MATLAB现在支持3GB切换(3GB switch)启动选项(boot option),配置额外的1GB的可寻址内存到每个程序上。这增加了你可以储存到MATLAB workspace中资料的总量约到2.7 GB。这相当于33亿的精度值。此新增的内存区块和MATLAB使用剩下的(内存)并不是连续的,所以你不能建立一个数组来填满此空间。
具体做法:修改C:\ Boot.ini文件如下:
[boot loader]
timeout=30
default=multi(0)disk(0)rdisk(0)partition(2)\WINNT
[operating systems]
multi(0)disk(0)rdisk(0)partition(2)\WINNT="????" /3GB
注意后面的/3GB就是后加上的雹好。重新启动系统再次运行matlab。
在采用了最后这种方法时,问题解决,至少运行了一段时间还没有出现上面的错误。
参考:
[1] http://www.microsoft.com/whdc/system/platform/server/PAE/PAEmem.mspx
[2] http://www.mathworks.com/support/tech-notes/1100/1106.shtml
[3] http://www.terasoft.com.tw/news/data/news041203.asp
[4] http://blog.sina.com.tw/872/article.php?pbgid=872&entryid=17053
转自:http://hi.baidu.com/zxshow1983/blog/item/ecc77f23795c41569922ed70.html
另外,还有两篇文章可能有用,放在这先:
matlab内存溢出的解决方案
matlab内存溢出的解决方案态迅(整理)
1)增加虚拟内存的方法是不可行的
2)使用PACK:PACK可以将matlab中的变量导出到磁盘中,以增加可用内存
3)减少变量的内存开销
4)64位架构:采用64位的软硬件架构
5)3GB 切换(3GB switch):由于在windows上运行matlab时,如果内存的使用超过约1.7G左右就要出现这种错误,而无论你有多大的内存也没用。幸好现在在Windows XP上,MATLAB现在支持3GB切换(3GB switch)启动选项(boot option),配置额外的1GB的可寻址内存到每个程序上。这增加了你可以储存到MATLAB workspace中资料的总量约到2.7 GB。这相当于33亿的精度值。此新增的内存区块和MATLAB使用剩下的(内存)并不是连续的,所以你不能建立一个数组来填满此空间。
6)更有效的优化方案调整Java虚拟机可分配的内存大小
matlab java.lang.OutOfMemoryError
Java虚拟机内存不够用了.可以增加最大内存设置.
1. 查找matlab根路径.在matlab命令行中敲入:matlabroot
显示根路径,如:C:\MATLAB7
2.查看当前Java虚拟机最大堆内存, 敲入:java.lang.Runtime.getRuntime.maxMemory
3.查看Java虚拟机版本.敲入:version -java
4.在 $MATLAB\bin\$ARCH 路径下新建java.opts文件.
$MATLAB是根路径,例如C:\MATLAB7
$ARCH是系统架构.例如win32,则在C:\MATLAB7\bin\win32下新建java.opts文件.
5.用记事本打开java.opts文件,
对于不同的版本的Java虚拟机,输入:
The following table shows the default settings MATLAB uses for versions of the JVM:
JVM Initial Heap Size Max Heap Size
1.6.0 -Xms64m -Xmx128m (32-bit)
-Xmx196m (64-bit)
1.5.0 -Xms64m -Xmx96m (32-bit)
-Xmx128m (64-bit)
1.4.2 -Xms16m -Xmx96m
1.3.1 -Xms16000000 -Xmx64000000
1.2.2 -Xms16000000 -Xmx64000000
1.1.8 -ms16000000 -mx64000000
例如我的Java是1.4.2,在java.opts文件写入-Xmx96m,保存就ok啦
如果输入错误就报错:warning : Failed to start to Java Virtual machine
6. 重启matlab,敲入java.lang.Runtime.getRuntime.maxMemory
显示最大内存改变,设置成功.
转自:http://hi.baidu.com/albertleemon/blog/item/d66384089786d5c262d986c4.html
Matlab 的内存分配机制
2011年04月23日 星期六 下午 02:19
1、创建和修改数组——基本思想是保持内存的连续性
(1)当为数组赋值时,Matlab在内存中分配连续的虚拟块,在另一个地方,将数组的类型和维数等保存为头信息。
(2)当向数组增加新元素时,如果原来位置的连续内存区域可以容纳新增加的数据,则扩大分配的内存,然后增加元素;如果连续块不够大,需要先重新分配能够容纳原有数据和新增数据的连续内存块,再将原有数据拷贝到新分配的内存中(在此期间,内存中会有原来数据的两份拷贝,增加了out of memory的风险),并添加新的元素到新的块中,然后释放原来的内存。
(3)当删除数组元素时,先移除元素,再压缩原来分配的空间。
2、数组的拷贝
(1)当将一个数组赋值给另一个变量时,不会为新变量分配内存,新变量只是到原来数组的引用,直到新变量中元素值改变时,才会为其分配内存。
(2)通过参数传递给函数的数据,当数据内容发生改变时才会分配内存,函数内部新的数据通过返回值传递给调用该函数的函数。
3、数组头
(1)由于数组头占据存储空间(虽然不多),数据存放在几个大数组中要由于存放在多个小数组中。
(2)对结构体和元胞(cell)数组,Matlab不仅为他们创建头信息,还为结构体的每个字段和元胞数组的每个元素创建头信息,因此结构题和元胞数组消耗的内存与其创建方式有关。
(3)whos函数只能查看数据占用的存储空间,不会显示头信息占用的空间。
4、数据结构与内存
(1)8-bit、16-bit、32-bit、64-bit的有符号整型或无符号整型分别占用1、2、4、8字节空间,单精度、双精度浮点数分别占用4、8字节空间。
(2)复数的实部和虚部分别占用存贮空间,当修改实部或虚部时,会同时复制实部和虚部。
(3)当数组的元素绝大部分为0时,用稀疏矩阵存贮以节省空间。
5、内存占用计算
(1) 元胞数组占用的空间计算方法为:(header_size x number_of_cells) + data,对于64位系统,header_size为112,查看header_size的方法: A = {[]}, whos A。A = {1 2 3}, A = {[1 2 3]}, A = {{1 2 3}}占用的字节数分别为:112×3+8×3,112×1+8×3,112×4+8×3。
(2)64bit系统中结构体占用空间的计算方法:fields x ((112 x array elements) + 64) + data (32bit系统中将112改为60)。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)