跑深度学习神经网络配置课题组服务器环境的一些重点

跑深度学习/神经网络配置课题组服务器环境的一些重点

首先本文建立在主机环境已配置、有sudo权限基础之上...

当时在服务器自己账号下的环境里用了几次sudo, 技术老师怕我把整个系统搞乱, 让我在docker里自己的系统里尝试。

这里记录一下重点，有必要再针对每一个详细写。有进行相关工作的朋友可以一起交流。

一、docker部分

docker选择镜像 

sudo docker images 

创建镜像 

docker run -itd --gpus all <镜像名> /bin/bash   ##这里docker19+版本可以直接调用主机GPU

sudo docker ps -a

进入容器（退出后不运行） docker attach <容器名>

进入容器（退出后运行） docker exec -it <容器名> /bin/bash

容器改名 sudo docker rename

宿主机文件到docker

docker cp /home/username/filename  容器名:/home/...

TIPs:退出时，使用[ctrl + D]，这样会结束docker当前线程，容器结束，可以使用[ctrl + P][ctrl + Q]退出而不终止容器运行

二、安装anaconda

安装anaconda Linux安装Anaconda3完整教程 - 槐殇树 - 博客园

三、安装pytorch、cuda、torch_geometric

GPU主机上装的CUDA和pytorch所对应的cuda不需完全一致，与cudatoolkit对应即可，但要注意有时需要CUDA高版本的支持，无法向下兼容。

1.在pytorch官网https://pytorch.org/get-started/previous-versions/找到torch与cudatooltik对应的代码，然后用命令下载

2. pip torch_geometric https://pytorch-geometric.com/whl/ 在这里面找到对应1中torch版本的geometric组件, 离线下载并安装后, 在环境中pip install torch_geometric即可

（如果不对应torch-scatter、torch-cluster、torch-sparse可能会报错）

四、其他问题

1.docker下new user权限问题

[Errno 13] Permission denied大多是文件夹权限不够, root用户配置相应文件夹权限

我在docker里面自己创建了一个用户，在新用户下重新装了anaconda、配置了新环境，跑code时到保存文件的一步提示我权限不够，我作死使用root权限把所有文件夹的读写权限开放给所有用户，导致在new user下环境跑code时优先调用root下主环境的anaconda,导致混乱，且权限必须一个个手动修复，没有恢复默认的命令，非常麻烦。这时我就先把new user删了，在root下 *** 作，暂时可以了，但是可能后续要重新建个容器。这里提示在创建用户时利用group把各种权限分配好。

2.Linux下python文件编辑的几个基本命令

在Linux下编辑python文件：vim XXX.py 打开并编辑， i进入insert模式， 编辑后按esc退出编辑，输入：冒号后再输入wq保存