NCCL error in: pytorchtorchlibc10dProcessGroupNCCL ,unhandled cuda error, NCCLversion 2.7.8

本文采用方法

pytorch 、cudatoolkit、cuda驱动的版本需一致

问题描述

使用多GPU训练 stylegan3 模型时：

python train.py --outdir=training-runs --cfg=stylegan3-r \
--data=datastes/your_data.zip \
--cfg=stylegan3-r --gpus=4 --batch=32 --gamma=8 --kimg=1800 --snap=50  --tick=2  

报错信息

torch.multiprocessing.spawn.ProcessRaisedException:
……
RuntimeError: NCCL error in: /opt/conda/conda-bld/pytorch_1631630841592/work/torch/lib/c10d/ProcessGroupNCCL.cpp:911, unhandled cuda error, NCCL version 2.7.8
ncclUnhandledCudaError: Call to CUDA function failed.

本地环境

• 4xTeslaV100 显卡驱动及CUDA版本为11.0
  

stylegan3 默认环境

解决方法

去pytorch官网，搜索对应的 Cudatookit版本

conda install pytorch==1.7.0 torchvision==0.8.0 torchaudio==0.7.0 cudatoolkit=11.0 -c pytorch

探索过程 思路1 ：安装nccl （本文没用）

• NCCL下载及安装教程
• https://developer.nvidia.com/nccl/nccl-legacy-downloads
• https://docs.nvidia.com/deeplearning/nccl/install-guide/index.html#usingnccl

思路2：pytorch 、cudatoolkit、cuda驱动的版本一致

• https://github.com/ultralytics/yolov5/issues/4530