Win10程序意外挂掉,但显存依然被占用

Win10程序意外挂掉,但显存依然被占用,第1张

Win10程序意外挂掉,但显存依然被占用 1.软件环境2.问题描述3.解决方法3.1.查找当前占用显存的程序3.2.关闭显存占用程序 4.结果预览

1.软件环境

Windows10 教育版64位
Tensorflow-GPU 2.3.0
Keras 2.4.3
CUDA 10.1

2.问题描述

在使用Tensorflow进行模型训练时,很有可能会因为batch_size设置太大或者样本分辨率太大导致OOM(Out Of Memory)
像这样:

这样:

这个时候程序已经挂掉退出了,此时如果你运行任何要占用显存的程序很可能会引发OOM!这个时候使用工具查看显存居然没有被释放,依然被程序占用达到95%

任务管理查看显存被占用,也是一样的情况:

这就导致了我们无法运行任何占用显存的程序,也没法重新进行模型的训练!
Linux系统下可以使用fuser命令或者ps命令找到占用显存的程序,将其关闭即可,具体可以参考如下博客,在此不赘述:

解决GPU显存未释放问题进程已死,显存还在被占用(无fuser命令)

重点是Windows系统没有fuser命令或者ps命令可用,那这个时候又该怎么办呢?

3.解决方法

首先,重启肯定可以解决问题,但是有的时候电脑还真不能随便重启,比如:

你的电脑是服务器,随便重启就意味着宕机,特别是软、硬件比较复杂的机器,特别是你的系统盘还是机械硬盘。这个时候,开机自检都要等好一会儿,这就造成了服务的不可用;有重要的工作没有保存,即使能够保存也丢失了撤销每一步操作的可能。如你在写Word,你在写代码,保存就意味着ctrl+z没法用了;每次遇到问题都用重启回避的话,问题一直没有解决,为什么不直接面对问题本身呢?·······

那么,我们如何在不重启电脑的情况下,解决这个问题呢?接着往下看:

3.1.查找当前占用显存的程序

首先,我们使用nvidia-smi命令,查找到目前使用显存的程序:

可以看到,最有嫌疑的程序就是当前虚拟环境中的python.exe,我们尝试将其关闭。

3.2.关闭显存占用程序

打开任务管理器,查看是否有python.exe相关的进程,遗憾的是并没有~~,pycharm下也没有python.exe进程:


那么怎么找到这个进程呢?
打开任务管理器性能资源监视器CPU,在关联的句柄中输入python,可以看到python.exe已经被我们找到了:

这不就是我们的程序工作路径吗????,那应该就是它搞的鬼,没得跑了!
此时,只需要右键该进程,选择结束进程即可!

4.结果预览

通过命令查看,显存已经被释放了:

自然就可以运行新的模型训练脚本了!

都看到这里了,还不赶紧点赞评论收藏走一波?

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/web/1498043.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-06-25
下一篇 2022-06-25

发表评论

登录后才能评论

评论列表(0条)

保存