跨服务器之间gpu如何使用nvswitch？

NVSwitch是一种高速互连技术，可以在多个GPU之间实现高速数据传输。要在跨服务器之间使用NVSwitch，需要满足以下要求：

服务器需要安装支持NVSwitch技术的GPU卡，例如NVIDIA Tesla V100或A100。

服务器需要使用支持NVSwitch的技术，例如InfiniBand或以太网等进行物理互连。

服务器需要安装支持NVSwitch的驱动程序和软件包，例如CUDA和NCCL等。

具体而言，您可以使用以下步骤在跨服务器之间使用NVswitch：

使用支持NVSwitch的技术将多个服务器物理互连。

在服务器上安装和配置支持NVSwitch的驱动程序和软件包。

在不同的服务器上启动各自的GPU卡。

调用支持NVSwitch的CUDA函数和NCCL函数，以实现在跨服务器之间传输数据。

需要注意的是，使用NVSwitch进行跨服务器之间的GPU交互需要高带宽、低延迟互连技术，并且需要对网络拓扑进行调整。例如将GPU密集的任务聚集在具有高速InfiniBand网络的服务器上，以最大化NVSwitch的性能。

深度学习GPU服务器属于异构计算服务器，将并行计算负载放在协处理器上。如果推荐，首选一定是英伟达GPU服务器，或者选择英伟达授权的官方代理也是可以的。国内有很多英伟达代理商，蓝海大脑就是其中之一。有兴趣的可以去了解一下。

深度学习GPU服务器是科学计算服务器的一种，科学计算服务器主要用于科学研究，是高性能计算机的一种，介于一般服务器与超级计算机之间。目前，科学计算服务器大约占整个服务器市场的5%左右，风虎云龙是目前所知国内专注于科学计算高性能服务器的厂商品牌，多年来一直紧跟科学发展，密切关注人工智能、机器学习、深度学习发展，结合科研发展需要研发生产高性能科学计算服务器，提供专业的售前、售中和售后服务，以及高性能计算集群的安装、调试、优化、培训、维护等技术支持和服务。

上海风虎信息作为深度学习服务器的专业厂商，专注为科研院所和高校师生打造高性能服务器，建议您选择深度学习服务器时需要注意以下几点：

1深度学习需要大量的并行计算资源，而且动辄计算几天甚至数周，而英伟达NVIDIA、英特尔Intel、AMD显卡（GPU)恰好适合这种工作，提供几十上百倍的加速，性能强劲的GPU能在几个小时内完成原本CPU需要数月完成的任务，所以目前深度学习乃至于机器学习领域已经全面转向GPU架构，使用GPU完成训练任务。

2如今即使使用GPU的深度学习服务器也要持续数天乃至数月（取决于数据规模和深度学习网络模型），需要使用单独的设备保障,保证训练任务能够小时长期稳定运行。

3独立的深度学习工作站（服务器）可以方便实现实验室计算资源共享，多用户可以在个人电脑编写程序，远程访问到深度学习服务器上排队使用计算资源，减少购买设备的开支并且避免了在本地计算机配置复杂的软件环境。

上海风虎信息专注于深度学习GPU服务器开发，根据TensorFlow，Pytorch，Caffe，Keras，Theano等软件计算特征，向您推荐入门级、中级、顶级GPU服务器典型配置，欢迎查阅，谢谢。

拥有高性能计算领域优秀的专业工程师团队，具有 10 年以上高性能计算 行业技术支持经验，提供专业的售前、售中和售后服务，以及高性能计算集群的安装、调 试、优化、培训、维护等技术支持和服务。在深度学习、量化计算、分子动力学、生物信 息学、雷达信号处理、地震数据处理、光学自适应、转码解码、医学成像、图像处理、密 码破解、数值分析、计算流体力学、计算机辅助设计等多个科研领域积累了深厚的技术功 底，和熟练的技术支持能力。提供 Caffe, TensorFlow, Abinit, Amber, Gromacs, Lammps, NAMD, VMD, Materials Studio, Wien2K, Gaussian, Vasp, CFX, OpenFOAM, Abaqus, Ansys, LS-DYNA, Maple, Matlab, Blast, FFTW, Nastran 等软件的安装、调 试、优化、培训、维护等技术支持和服务。

CPU：
首先确认您的模型是否需要CPU的计算力
深度学习训练，4GPU主流配置10核CPU，8GPU建议配置12核以上
内存：
显存的总和再加32G基本能满足需求（如4卡3090显存总和为96G，加32G等于128G）
硬盘：
机械盘不能满足大部分模型数据读取，推荐480G SSD做为系统盘，热数据用SSD存储，冷数据用机械盘
GPU：
Geforce系列可用于深度学习，Tesla系列 深度学习 高性能计算，Quadro系列绘图渲染
选择GPU服务器的配置不同、性能不同，价格自然不一样，你可以去官网了解一下

“GPU服务器，简单来说，GPU服务器是基于GPU的应用于视频编解码、深度学习、科学计算等多种场景的快速、稳定、d性的计算服务，我们提供和标准云服务器一致的管理方式。出色的图形处理能力和高性能计算能力提供极致计算性能，有效解放计算压力，提升产品的计算处理效率与竞争力。"

吃。使用GPU的主要瓶颈之一是通过PCIe总线在CPU和GPU内存之间复制数据的速度，PCIe总线的数据吞吐量很大程度上影响了GPU的运算速度，GPU服务器吃PCIe速度。GPU服务器是一种用于计算机科学技术领域的计算机及其配套设备，于2017年5月31日启用。

从最开始买服务器的时候我就问了商家，能不能用显卡，商家答复厚度不超过2CM的刀卡是可以用的；并且在安装macOS的时候，我也发现3M的显存是真的不够用，上显卡的冲动再次涌上心头。
显卡适配关系
服务器作为比较特殊的设备，和普通PC不同，支持的显卡型号有限，以下为我从HPE官网找到的显卡适配关系，与其说是显卡，不如说是GPU，更偏向于计算，适合搞AI（所以一开始有朋友问我是不要开始搞大数据或者人工智能了，让大家失望了）。标红部分为已经查明的支持vGPU的显卡型号，也就是能按需分配给虚拟机。

这时我意识到，服务器有适配关系，那VMware ESXi是不是也有适配关系？我就找HPE的售后400工程师咨询了一下，大跌眼镜！直接丢给我一个查询配套关系的软件，下载原始链接如下：
>推荐的话，那首选一定是英伟达GPU服务器，
或者选择英伟达授权的官方代 理商也是可以的。

亿万克是研祥高科技控股集团旗下全资子公司。研祥集团作为中国企业500强，持续运营30年。研祥集团全球49个分支机构，三个国家级创新平台，一直致力于技术创新引领行业发展，拥有超1100项授权专利，超1300项非专利核心技术。亿万克_亚当_服务器，民族高科技制造企业领导者，自主知识产权，十大关键核心技术，为党政、金融、医疗、教育、电信、电力、交通和制造等各行业和领域的提供信息化发展和区域数字经济发展贡献自主创新的安全保障。
亿万克服务器产品线丰富，覆盖面广，可覆盖更多应用场景，为各规模、类型的企事业单位提供最恰当的解决方案。
亿万克服务器真正做到了，自主研发、能力内化、安全可信、安全可控。感兴趣请点击此处，了解一下。

---