PyTorch 中CUDA错误

PyTorch 中CUDA错误

概述：错误提示

•  CUDA error: an illegal memory access was encountered
• unable to get repr for class 'torch.tensor
• RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling `cublasCreate(handle)`

---

上述的三个错误提示可能由很多原因导致，这里只讨论我遇到的。简要代码如下：

x = self.functors[i](x)
...
q = self.q_fc(x)  

x是放在gpu上的，self.functors[i]是cpu上的，但不知为什么第一句代码可以执行，执行之后，调试窗口打印x的值，会提示如下错误：
CUDA error: an illegal memory access was encountered
然后变量窗口查看x变量会有如下提示：
unable to get repr for class 'torch.tensor
第二句代码，self.q_fc是gpu上的，执行会报错：
RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling `cublasCreate(handle)`
解决方案：

将self.functors[i]放到gpu上，其实这个问题的关键在于设备不同代码却能运行，离谱！