深度学习环境配置

总体步骤

因个人需求不同， 本篇博客只介绍前 安装前 6个步骤， 后面根据个人需求自行安装；

1. 升级内核 ubuntu ( 系统安装好过后， 先当前系统的);
2. chrome 浏览器；
3. nvidia-drivers
4. cuda,
5. cudnn；
6. anaconda;
7. sougou pinyin
8. clash ;
9. pycharm;
10. clion;
11. BootNote_local;
12. pytorch(1.7.1); torch 1.1x（SPyder）
13. TF 2.5;

1. 升级ubuntu内核 ubuntu

这里以 ubuntu 18.04 为系统；

首次安装后该系统后， 先打开software Updater , 将当前系统的5.4.0-110-generic内核版本更新到最新的，

这样做的目的， 是为了防止系统后续自己更新时， 导致nvidia_driver 的自动丢失；

2. 安装 chrome 浏览器；

sudo dpkg -i google_XXX_amd64.deb

3. nvidia-drivers

https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html#title-resolved-issues 在这个网站上，查看 cuda 版本对 nvidia-drivers 驱动版本的最低要求;

在安装 nvdia-drivers , cuda, cudnn 这三个之前， 先确定好两件事情；

1. 自己的电脑配置对应上面nvidia-drivers 驱动版本；

2. nvdia-drivers , cuda, cudnn这三个版本兼容关系；

3.1 确定自己的显卡型号

这里以 RTX 2060 为例，终端中，输入

lspci | grep -i vga

如果，笔记本正常会有两个；分别是intel 的核显和 Nvidia 的独显

在这个网站中输入，The PCI ID, 会查询到自己的显卡型号；

3.2 下载显卡驱动

1. https://www.nvidia.cn/geforce/drivers/ 登录该网站， 下载对应的显卡驱动；

3.3 禁用nouveau 驱动

禁用ubuntu18 自带的第三方的开源驱动程序nouveau 驱动；

1. 输入以下命令， 查看 nouveau 是否存在, 如果输出多项内容，表示启用了 nouveau;

lsmod | grep nouveau 

2. 禁用 第三方的开源驱动程序 nouveau，

sudo gedit /etc/modprobe.d/blacklist.conf  # 打开文件，在最后添加如下两行：

blacklist nouveau
options   nouveau  modeset = 0

3. 更新系统配置

sudo update-initramfs -u

4. 重启系统， （required）

sudo reboot

5. 验证是否禁用成功

lsmod | grep nouveau
# 如果没有输出，表面禁用成功；

3.4 安装nvidia-driver驱动

该驱动的安装， 使用到了 gcc, make 这两个工具， 故先安装好这两个；

sudo apt install gcc
sudo apt install make

1. 在ubuntu下按ctrl+alt+f5 ( f1~ f10 之间，各个PC 不同，退出时按ctrl+alt+f1 )进入命令行界面：

此时需要login：电脑账户名称，password：密码，登录到命令行界面。

2. sudo service lightdm stop //这个是关闭图形界面，必须关闭

3. sudo apt-get remove nvidia-* //卸载系统中存在的驱动，默认有安装的，一定要执行这个

4. ` sudo ./NVIDIA-Linux-x86_64-xxx.run -no-x-check -no-nouveau-check -no-opengl-files ，

其中：
-no-x-check：安装驱动时关闭X服务
-no-nouveau-check：安装驱动时禁用nouveau
-no-opengl-files：只安装驱动文件，不安装OpenGL文件

以下为安装过程：

1、he distribution-provided pre-install script failed! Are you sure you want to continue?     
选择 yes 继续。

2、Would you like to register the kernel module souces with DKMS? This will allow DKMS to automatically build a new module, if you install a different kernel later?         
 选择NO继续

3、Would you like to run the nvidia-xconfigutility to automatically update your x configuration so that the NVIDIA x driver will be used when you restart x? Any pre-existing x confile will be backed up.  
选择 Yes  继续
————————————————

5. 安装成功后，在命令行输入：sudo service lightdm start //重启图形界面， 按Ctrl+Alt+F1返回图形界面

6. 终端中输入 nvidia-smi ， nvidia-setting//检测是否安装成功

注意: 如果稍后 或者 第二天， 重启电脑时， 出现循环登录的情况， 或者是 登录后，卡在红色界面时；

请不要重新安装系统， 你之前所做的努力并没有白费；

循环登录， 或无法进入桌面， 参考这里

具体讲来， 执行下面三步骤即可

 1.  进入 advance ubuntu 中， 使用5.4.0.-42 内核进入系统，
   注意到刚刚是在5.4.0-90 上安装的nvidia-driver. 
如果没有之前的内核可以选择的话，直接进入 tty 文本界面，进行 *** 作；
 3.  sudo  rm  /etc/X11/xorg.conf 
 4.  sudo reboot 

4. cuda 安装

下载 cuda 版本 https://developer.nvidia.com/cuda-10.2-download-archive

4.1 cuda 版本选择

这里以 cuda 11. 2 版本， 安装在 ubuntu 18.04;

需要说明的是：
cuda10.2 版本, 将是 Pytorch 长期维护的一个 cuda版本；
所以使用Pytorch 的，可以安装这个版本；

当然, 电脑上可以同时安装两个版本的 cuda ,使用的时候,对其版本软链接切换，
具体方式,请自行搜索；

此外，由于 TensorFlow 2.5 需要 cuda11.2 版本的支持， 故这里先安装
cuda 11.2 ;

4.2 安装步骤

1. 给文件赋予执行权限，然后执行

sudo chmod +x cuda_11.0.3_450.51.06_linux.run
sudo ./cuda_11.0.3_450.51.06_linux.run
# 如果有协议，输入accept就行

2. 去除 nvidia-driver 的勾选， 需要把Driver给去掉，否则会报错。因为已经装了 Nvidia -Driver了，所以再次安装会起冲突;
   

4.3 配置环境变量

我们要让shell识别到cuda，需要在环境变量中加入对应路径变量。

注意安装成功后的提示：

Please make sure that: 
- PATH ... 
- LD_LIBRARY_PATH ...

使用gedit修改.bashrc文件。

sudo gedit ~/.bashrc
在最后一行加入路径：

export PATH="/usr/local/cuda-11.2/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda-11.2/lib64:$LD_LIBRARY_PATH"

保存之后，为了使这个修改立即生效，还需要输入如下代码（如果不执行 source 命令，则需重启系统才能生效）：

4.4 更新环境变量

source ~/.bashrc

# 新打开一个终端，输入
nvcc -V

解释一下shell，环境变量和路径变量这三个名词。

Shell是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问 *** 作系统内核的服务。换句话说，Shell是Linux/Unix的一个外壳，它负责外界与Linux内核的交互，接收用户或其他应用程序的命令，然后把这些命令转化成内核能理解的语言，传给内核，内核是真正干活的，干完之后再把结果返回用户或应用程序。

环境变量是当前环境下的参数或者变量，或者说是指在 *** 作系统中用来指定 *** 作系统的一些参数。

路径变量(PATH)是最常见的环境变量。
它的用途就是当用户要求系统运行一个程序而没有告诉它程序所在的完整路径时，系统除了在当前目录下寻找此程序外，还要到PATH变量中指定的路径去寻找。用户可以通过设置PATH变量，来更方便地运行进程。例如，当我们在windows中将Python安装好后，如果直接在CMD中输入 python，它会提示：“Python不是内部或外部命令，也不是可运行的程序或批处理文件。”这时候我们就需要将Python中bin目录的路径加入到PATH变量中去。（如果你没有出现这个错误，说明安装程序已经自动帮你添加了路径变量。）[2]
那么问题来了，在Linux中如何配置路径变量呢？

Linux下配置环境变量最常用的两种方法：修改 ~/.bashrc或 /etc/profile。

~/.bashrc:该文件包含专用于某个用户的bash shell的bash信息，当该用户登录时以及每次打开新的shell时,该文件被读取。
另外，/etc/profile中设定的变量(全局)的可以作用于任何用户，而~/.bashrc等中设定的变量(局部)只能继承/etc/profile中的变量。

5. install cudnn；

cuDNN是基于CUDA的深度学习GPU加速库，有了它可以在GPU上完成高效的深度学习计算；

https://developer.nvidia.com/rdp/cudnn-archive
在该网站上 找到cuda对应版本的cudnn 下载， 如果下的是 .deb 格式， 参考这里安装；

5.1 替换自己版本

Before issuing the following commands, you’ll need to replace X.Y and 8.x.x.x with your specific CUDA and cuDNN versions.

下面的命令，注意替换成，自己的对应版本序号

5.2 cudnn安装指令

sudo dpkg -i libcudnn8_8.1.1.33-1+cuda11.2_amd64.deb
sudo dpkg -i libcudnn8-dev_8.1.1.33-1+cuda11.2_amd64.deb
sudo dpkg -i libcudnn8-samples_8.1.1.33-1+cuda11.2_amd64.deb

5.3 测试 cudnn

$ cp -r /usr/src/cudnn_samples_v8/ $HOME
$ cd  $HOME/cudnn_samples_v8/mnistCUDNN
$ make clean && make

2. 如果make 时， 出现nvcc fatal : Failed to preprocess host compiler properties.

sudo apt-get install build-essential

3. 出现如下错误，

 `test.c:1:10: fatal error: FreeImage.h: No such file or directory
 #include "FreeImage.h"
 执行如下命令：
 
 sudo apt-get install libfreeimage3 libfreeimage-dev

4. 执行 ./mnistCUDNN`

until you see the Test passed!

6. 安装 anaconda;

1. 下载 Anaconda3.sh 安装包，

2. bash Anaconda3.sh

...
installation finished.
Do you wish the installer to prepend the Anaconda3 install location
to PATH in your /home/sammy/.bashrc ? [yes|no]
[no] >>> 

选择 yes;

3. 在.bashrc 中更新 anaconda 的配置；

 source ~/.bashrc
# 新开一个终端中， 输入 
 conda list 
 # 检测是否安装成功；

5. 取消开启终端， 自动进入base 环境；

conda config --set auto_activate_base false

5. 如果需要 更新当前 Anaconda3.sh 版本， 使用

conda update --all

6. 新建一个虚拟环境

 conda create --name  torch1.7.1 python=3.7

7. sougou pinyin

1. 卸载 ibus

sudo apt-get remove ibus
sudo apt-get purge ibus

2. 安装 fcitx 输入法

sudo apt install fcitx-table-wbpy fcitx-config-gtk
im-config -n fcitx
sudo apt install fcitx
# 必须重启电脑 
sudo reboot

3. 修复缺失或者损害的包 sudo apt-get install -f
4. sudo dpgk -i sogou_xxx_amd64.deb
5. 然后在 setings --> Region & Language 勾选 fcitx

6. 在右上角出现一个键盘标志，点击进入，选择
   Configure Current Input Method
   点击加号， 加入 搜狗拼音， 这里尤其需要注意的是， sogoupinyin 不能放在第一位， 放在第一个的应该是英文；
   

8. pycharm;

1. 下载pycharm.tar.gz 压缩包， 将其放置到 /opt 路径下， 并对其解压；
2. 进入到pycharm-2020.1/bin/pycharm.sh，

sh  pycharm.sh

3. 创建 桌面快捷键

1.进入pycharm后点击"tools"
2.点击"Create Desktop Entry..." 
3. 重启 pycharm

想使用专业版，如果你是在校生，并且学籍在线， 登录学信网， 下载你的学籍证明； Jetbrain 公司会给你在学籍的每一年中，申请免费使用的权力；

9.pytorch(1.7.1);

安装 pytorch 1.7.1

先激活相关环境， 在该环境中安装：

conda activate torch1.7.1

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2

由于网速原因，可以登录网页上，进行自行下载， 然后在使用 pip install 安装；

登录该网页 `ctrl+f`  定位自己想要的文件；
https://download.pytorch.org/whl/torch_stable.html

注意， 发现一个很神奇现象：
在 pycharm 的终端中， 使用 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 与
ubuntu 中 使用同样的命令，
前者的网速会快很多倍！！！ 这是什么原因呢？

torch 1.1x（SPyder）

10. TF 2.5; 11. clion; 12. Boost-Note_local;

在 github 中搜索 boost-note-local;

下载 .deb 版本；
2. sudo dpkg - xx.deb

13. clash ;

有需求的请自行查阅；