使用K8s调度Nvidia GPU

使用K8s调度Nvidia GPU

在Kubernetes配置与集群监控的搭建和Docker常用命令中，我们介绍了如何安装Docker以及Kubernetes。对于集群而言，本文将更进一步地介绍如何使用Docker+K8s进行集群的GPU管理。

安装Nvidia驱动

Nvidia的驱动可以在官网下载。注意自己的系统内核以及显卡型号。安装完成后，在命令行使用nvidia-smi命令来查看显卡列表以及相关信息。如果成功安装，将会看到如下的结果。

~$ nvidia-smi
Sat Nov 13 22:21:26 2021       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.57.02    Driver Version: 470.57.02    CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ...  Off  | 00000000:02:00.0 Off |                  N/A |
| 33%   43C    P8    21W / 250W |      0MiB / 11019MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   1  NVIDIA GeForce ...  Off  | 00000000:03:00.0 Off |                  N/A |
| 33%   43C    P8    30W / 250W |      0MiB / 11019MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

这里展示了一台拥有两张2080Ti显卡的服务器。其中最上方的NVIDIA-SMI``Deiver Version和CUDA Version，分别表示nvidia-smi工具的版本，驱动版本以及该版本驱动支持的最高的CUDA的版本。在我们安装、配置三方库的时候，需要密切注意驱动版本、CUDA版本以及三方库版本。一般来说只需要足够高的驱动，配合上匹配的CUDA版本即可。需要额外注意的是，只有>=11.0版本的CUDA才能正确地在Ampere架构上的显卡正确运行。如果你使用的第三方库依赖了11.0之前的CUDA，那需要选用较低的硬件型号。否则在运行时会出现核函数错误。

安装nvidia-docker-runtime

nvidia-docker-runtime可以让我们正确地在容器里访问物理机上的GPU资源。安装过程我们可以参考k8s-device-plugin官方仓库的Quick Start。大概可以分成如下三步。

配置各个节点

首先需要在各个包含GPU的节点上安装相关工具使之可以支持在容器中访问显卡资源。

安装nvidia-docker

这部分流程主要参考官网教程，下方展示了ubuntu上的安装流程，对于其他的Linux发行版，可以移步官网查询。

distribution=$(. /etc/os-release;echo $ID$VERSION_ID) 
   && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - 
   && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

如果希望体验CUDA on WSL与最新的多实例GPU特性，那需要使用experimental分支。

curl -s -L https://nvidia.github.io/nvidia-container-runtime/experimental/$distribution/nvidia-container-runtime.list | sudo tee /etc/apt/sources.list.d/nvidia-container-runtime.list

更新package列表，安装nvidia-docker2并重启docker服务。

$ sudo apt-get update
$ sudo apt-get install -y nvidia-docker2
$ sudo systemctl restart docker

启动一个简单容器验证安装成功。

sudo docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi

这时我们应该可以看到一个GPU列表的输出。

安装nvidia-docker2

# Add the package repositories
$ distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
$ curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
$ curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

$ sudo apt-get update && sudo apt-get install -y nvidia-docker2
$ sudo systemctl restart docker

修改docker的运行配置

打开并修改/etc/docker/daemon.json：

{
    "default-runtime": "nvidia",
    "runtimes": {
        "nvidia": {
            "path": "/usr/bin/nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}

在Kubernetes中启用GPU支持

当你在所有的GPU都完成了以上的配置之后，你可以通过下面的命令来启用GPU支持。

$ kubectl create -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.10.0/nvidia-device-plugin.yml

启动一个GPU任务

apiVersion: v1
kind: Pod
metadata:
  name: gpu-pod
spec:
  containers:
    - name: cuda-container
      image: nvcr.io/nvidia/cuda:9.0-devel
      resources:
        limits:
          nvidia.com/gpu: 2 # requesting 2 GPUs
    - name: digits-container
      image: nvcr.io/nvidia/digits:20.12-tensorflow-py3
      resources:
        limits:
          nvidia.com/gpu: 2 # requesting 2 GPUs