如何部署GPU满足服务器工作负载需求

选择GPU服务器时首先要考虑业务需求来选择适合的GPU型号。在HPC高性能计算中还需要根据精度来选择，比如有的高性能计算需要双精度，这时如果使用P40或者P4就不合适，只能使用V100或者P100；同时也会对显存容量有要求，比如石油或石化勘探类的计算应用对显存要求比较高；还有些对总线标准有要求，因此选择GPU型号要先看业务需求。

GPU服务器人工智能领域的应用也比较多。在教学场景中，对GPU虚拟化的要求比较高。根据课堂人数，一个老师可能需要将GPU服务器虚拟出30甚至60个虚拟GPU，因此批量Training对GPU要求比较高，通常用V100做GPU的训练。模型训练完之后需要进行推理，因此推理一般会使用P4或者T4，少部分情况也会用V100。

综上所述，选择服务器时不仅需要考虑业务需求，还要考虑性能指标，比如精度、显存类型、显存容量以及功耗等，同时也会有一些服务器是需要水冷、降噪或者对温度、移动性等等方面有特殊的要求，就需要特殊定制的服务器。

欢迎了解更多：网页链接

Linux查看显卡信息：
[python] view
plain copy
lspci | grep -i vga
使用nvidia
GPU可以：
[python] view
plain copy
lspci | grep -i nvidia
前边的序号
"00:0f0"是显卡的代号(这里是用的虚拟机);
查看指定显卡的详细信息用以下指令：
[python] view
plain copy
lspci -v -s 00:0f0
Linux查看Nvidia显卡信息及使用情况
Nvidia自带一个命令行工具可以查看显存的使用情况：
[python] view
plain copy
nvidia-smi
表头释义：
Fan：显示风扇转速，数值在0到100%之间，是计算机的期望转速，如果计算机不是通过风扇冷却或者风扇坏了，显示出来就是N/A；
Temp：显卡内部的温度，单位是摄氏度；
Perf：表征性能状态，从P0到P12，P0表示最大性能，P12表示状态最小性能；
Pwr：能耗表示；
Bus-Id：涉及GPU总线的相关信息；
DispA：是Display
Active的意思，表示GPU的显示是否初始化；
Memory
Usage：显存的使用率；
Volatile
GPU-Util：浮动的GPU利用率；
Compute
M：计算模式；
下边的Processes显示每块GPU上每个进程所使用的显存情况。
如果要周期性的输出显卡的使用情况，可以用watch指令实现：
[python] view
plain copy
watch -n 10 nvidia-smi
命令行参数-n后边跟的是执行命令的周期，以s为单位。

---