使用T4对这些AI推理模型加速时，采用传统物理机部署和使用云服务器部署，在使用和性能上有什么差异？

蓝海大脑深度学习液冷服务器研究人员表示:
其实现在的很多场景都部署在物理机上，云服务的好处是可以动态的进行资源的申请，这样就不用考虑高峰期的资源复用问题，只需要在高峰时期d性的申请资源。对于传统物理机的部署的场景，其实可以更好的去处理你的workload，每个workload其实并不是说一张卡完全就不能搞定，在工程实际的尝试中，你会发现CPU和GPU之间的资源配比，其实是需要每个场景都单独的去考虑的，所以在这种场景下，可以结合你本地的硬件环境去做调整，然后找到一个最优，对于你这种场景的一个实现，这是我理解的物理机部署和云服务部署之间的优势和劣势。

没必要，如果咱们要求服务器的安全性高，不能断电，可以配置双电增加安全性。如果咱们服务器用的时候开机，不用的时候关机，安全性要求低的时候可以不要。不过还是加个电源还是好点的߅也差不了多少钱。
配置深度学习服务器建议考虑蓝海大脑，感觉他们做事情很职业很负责，沟通也比较顺畅。是异构计算的高性能超算平台公司，专注为企业数据中心、云计算、人工智能、边缘计算、生命科学等领域的高性能服务商。毕竟是个大件，还是要找专业的公司靠谱一些。

会深度学习模型在gpu上的部署是什么岗位
人工智能工程师岗位，深度学习模型部署工程师 职位类别：大数据/人工智能工程师 工作性质：全职 月薪范围：4k-6k 学历要求：本科及以上 工作城市：郑州 招聘人数：2 人 招聘单位：郑州市帝玛克机械工具

针对人工智能的深度学习场景，思腾合力研发出深思AW4211-8GR服务器，具有高性能、高密度、可扩展性强的特点，支持双路AMD7002系列处理器，CPU直通设计，延迟降低至少150ms，同时节省PCIE Switch成本，可广泛应用于AI、深度学习场景，也可作为GPU计算集群高密度、高性能的节点平台。想了解更多可以百度一下

推荐品牌： LINKZOL(联众集群)；
可以参考其官网；
*** 作系统可以安装Ubuntu 1404 LTS，需要如下软件：
编译器：GNU编译器，包括C/C++/Fortran编译器；
Intel编译器，包括C/C++/Fortran编译器、MKL、等；
并行环境：OpenMPI、MPICH等MPI并行环境；
GPU开发环境：最新CUDA驱动、编译器、调试器、SDK及例子文件等；
cuDNN加速，CUDA FFT、CUDA BLAS等；
深度学习框架：Caffe, Torch, Theano, BIDMach、TensorFlow；其中，Caffe需要编译提供python接口和Matla（支持mex编译）接口；
DNN平台：基于B/S架构，便于用户实时且可视化地进行DNN的训练、测试
推荐配置一：
计算平台采用：LZ743GR-2G/Q
系统：Ubuntu 14043 x64
CPU:Intel Xeon十核E5-2630v4(22GHz,80 GT/s)
内存：原厂64GB内存 (16GB×4) DDR4 2133MHZ ECC-REG（带内存校错技术，最大支持2T）
系统硬盘：INTEL 25寸240G 企业级SSD固态硬盘（最大支持8块硬盘，类型：SATA,SSD）
系统硬盘:希捷35寸4T 7200RPM 企业级硬盘（最大支持8块硬盘，类型：SATA,SSD;）
GPU卡：2块NVIDIA TATAN-X GPU卡 （CUDA核心数3584个核心，12G DDR5 显存，最大2个GPU卡）
电源：1200W High efficiency (96%)金牌电源
推荐配置二：
计算平台采用：LZ-748GT
系统：Ubuntu 14043 x64
CPU:Intel Xeon十二核E5-2650v4(22GHz,96 GT/s)
内存：原厂256GB内存 (16GB×16) DDR4 2133MHZ ECC-REG（带内存校错技术，最大支持2T）
系统硬盘：2块INTEL 25寸480G 企业级SSD固态硬盘（最大支持8块硬盘，类型：SATA,SSD）
系统硬盘:3块希捷35寸4T 7200RPM 企业级硬盘（最大支持8块硬盘，类型：SATA,SSD;）
GPU卡：4块TESLA TITANX GPU计算卡或者4块tesla P4O GPU卡 （CUDA核心数3584个核心，12G DDR5 显存，最大4个GPU卡）
电源：2000W High efficiency (94%)冗余钛金电源
推荐配置三：
计算平台采用：LZ428GR-8G/Q
系统：Ubuntu 14043 x64
CPU:Intel Xeon十四核E5-2690v4(26GHz,96GT/s)
内存：原厂256GB内存 (16GB×16) DDR4 2133MHZ ECC-REG（带内存校错技术，最大支持2T）
系统硬盘：2块INTEL 25寸480G 企业级SSD固态硬盘（最大支持8块硬盘，类型：SATA,SSD）
系统硬盘:3块希捷25寸2T 7200RPM 企业级硬盘（最大支持8块硬盘，类型：SATA,SSD;）
GPU卡：8块TESLA P40 GPU计算卡或者8块NVIDIA TATAN-X GPU卡 （CUDA核心数3584个核心，12G DDR5 显存，最大8个GPU卡）
电源：1600W（2+2） High efficiency (96%)钛金电源；
可以咨询：1381O114665

深度学习是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理等多个领域都取得了卓越的成果，可见其重要性

熟悉深度学习的人都知道，深度学习是需要训练的，所谓的训练就是在成千上万个变量中寻找最佳值的计算。这需要通过不断的尝试识别，而最终获得的数值并非是人工确定的数字，而是一种常态的公式。通过这种像素级的学习，不断总结规律，计算机就可以实现像人一样思考。因而，更擅长并行计算和高带宽的GPU，则成了大家关注的重点。

很多人认为深度学习GPU服务器配置跟普通服务器有些不一样，就像很多人认为做设计的机器一定很贵一样。其实只要显卡或者CPU满足深度学习的应用程序就可以进行深度学习。由于现在CPU的核心数量和架构相对于深度学习来说效率会比GPU低很多，所以大部分深度学习的服务器都是通过高端显卡来运算的。

这里谈谈关于深度学习GPU服务器如何选择，深度学习服务器的一些选购原则和建议：

1、电源：品质有保障，功率要足够，有30~40%冗余

稳定、稳定、还是稳定。一个好的电源能够保证主机再长时间运行不宕机和重启。可以想象一下，计算过程中突然重启，那么又要重来，除了降低效率，还影响心情。有些电源低负载使用的时候可能不出问题，一旦高负载运行的时候就容易出问题。选择电源的时候一定要选择功率有冗余品质过硬，不要功率刚刚好超出一点。

2、显卡：目前主流RTX3090,最新RTX4090也将上市

显卡在深度学习中起到很重要的作用，也是预算的一大头。预算有限，可以选择RTX3080 /RTX3090/RTX4090(上月刚发布，本月12日上市)。预算充足，可以选择专业深度学习卡Titan RTX/Tesla V100 /A6000/A100/H100（处于断供中）等等。

3、CPU：两家独大，在这要讲的是PC级和服务器级别处理器的定位

Intel的处理器至强Xeon、酷睿Core、赛扬Celeron、奔腾Pentium和凌动Atom5个系列，而至强是用于服务器端，目前市场上最常见的是酷睿。当下是第三代Xeon Scalable系列处理器，分为Platinum白金、Gold金牌、 Silver 银牌。

AMD处理器分为锐龙Ryzen、锐龙Ryzen Pro、锐龙线程撕裂者Ryzen Threadripper、霄龙EPYC，其中霄龙是服务器端的CPU，最常见的是锐龙。当下是第三代 EPYC（霄龙）处理器 ，AMD 第三代 EPYC 7003 系列最高 64核。

选择单路还是双路也是看软件，纯粹的使用GPU运算，其实CPU没有多大负载。考虑到更多的用途，当然CPU不能太差。主流的高性能多核多线程CPU即可。

4、内存：单根16G/32G/64G 可选，服务器级别内存有ECC功能，PC级内存没有，非常重要

内存32G起步，内存都是可以扩展的，所以够用就好，不够以后可以再加，买多了是浪费。

5、硬盘：固态硬盘和机械硬盘，通常系统盘追求速度用固态硬盘，数据盘强调存储量用机械盘

固态选择大品牌企业级，Nvme或者SATA协议区别不大，杂牌固态就不要考虑了，用着用着突然掉盘就不好了。

6、机箱平台：服务器级别建议选择超微主板平台，稳定性、可靠性是第一要求

预留足够的空间方便升级，比如现在使用单显卡，未来可能要加显卡等等；结构要合理，合理的空间更利于空气流动。最好是加几个散热效果好的机箱风扇辅助散热。温度也是导致不稳定的一个因素。

7、软硬件支持/解决方案：要有

应用方向：深度学习、量化计算、分子动力学、生物信息学、雷达信号处理、地震数据处理、光学自适应、转码解码、医学成像、图像处理、密码破解、数值分析、计算流体力学、计算机辅助设计等多个科研领域。

软件： Caffe, TensorFlow, Abinit, Amber, Gromacs, Lammps, NAMD, VMD, Materials Studio, Wien2K, Gaussian, Vasp, CFX, OpenFOAM, Abaqus, Ansys, LS-DYNA, Maple, Matlab, Blast, FFTW, Nastran等软件的安装、调试、优化、培训、维护等技术支持和服务。

————————————————

版权声明：本文为CSDN博主「Ai17316391579」的原创文章，遵循CC 40 BY-SA版权协议，转载请附上原文出处链接及本声明。

原文链接：>

最近在学习机器学习，看到了深度学习这一部分。用tensorflow写了几个例子，CNN的，然后在我的15年版的MacbookPro上跑了跑了，训练速度真是不忍直视，而且，风扇呼呼转，真是心疼我这个Mac了。于是意识到显卡这个东西真是个门槛。因此才想着搞一台高配置的主机来跑深度网络。

既然是跑深度学习，那么直接在电商网站上搜一下深度学习主机买来不就得了？ 理论总是那么简单。。。
事实上，我看了下专门跑深度学习的主机，基本都是服务器级别的，动辄2W+ 。我是没这么多银子来投入这个的，没办法，穷人啊。

那么，想一下自己需求，找一个合适的主机吧。我的目的也很简单的：

好了， 这么一罗列就明确了，就是一个高配游戏主机喽。不要误会，这是巧合～～ 于是 我去闲鱼上瞅了瞅，看出点门道，一般i7 8700 + 1080Ti显卡的主机，就可以卖到1W了～～ 啧啧 游戏真是败家。

一开始我也想着直接买个这种主机，省事儿，不过既然都花到1W了，对各个配置外观就很在意了。看了很多主机，感觉都不是理想中的样子，要么机箱丑， 要么主板渣，要么硬盘和内存规格不够。其实我主要在意的是CPU和显卡，只要这两个满足就OK啊，然后就可以慢慢攒出自己想要的主机了。我看了闲鱼上的价格，i7 8代CPU的价格，代购的话也就2500左右，为了以后升级考虑，直接上了i7 8086K（这是个intel为了纪念第一代8086芯片40周年的纪念品，其实是从8700K中挑出来的体质好的片），4GHZ，高主频，干事儿快。1080Ti的显卡是最具性价比的了，二手价格4K左右，不过容易踩到雷买到挖矿的卡～ 这个小心了。

总的来说，各个配件都准备妥当了，来一下清单：

总计： 9800吧～(真贵)～ 总的来说，必直接先闲鱼上的主机要好一些，多了可配置性。

这个就不展开了，按照说明书一步步来就好。主要是安装顺序以及接线。
安装顺序：电源装到机箱 -> CPU装到主板 -> 主板装到机箱 -> 水冷 散热风扇 -> 接线
这里有两个地方需要注意：

最后上个成品图 啊哈哈～

这么好的显卡不玩玩游戏是不是亏了？？ 那就保留一个win系统吧～

现在网上的双系统如何安装帖子都是老教程了～ Ubuntu都发布了1804，支持UEFI+GPT。那么如何搞呢？

首先，先安装win10，如果是自己制作U盘启动项，务必选择UEFI+GPT组合模式，也就是做用UEFI模式引导，硬盘为GPT格式。如果不是，那么需要检查一下并完成转换，这里有个教程，直接用win10自带的工具就能做到，但是前提是win10升级到1703之后的版本。

用Win10自带的MBR2GPT无损转换GPT磁盘分区形式

然后就是安装Ubuntu1804了。我是安装在一个磁盘里，因此需要先空出一定大小的未分配空间。然后制作Ubuntu1804的U盘启动项，选择UEFI+GPT组合模式。这里是官方教程：

win系统上制作Ubuntu的U盘启动

然后按照这个教程就好了： Windows10+Ubuntu1804双系统安装

安装好Ubuntu1804之后登录进去发现系统变漂亮了(但是还是一贯的难用，相比Mac和win)。可以进行一些美化 *** 作。。 好像很多人喜欢这个，贴个教程吧： Linux也可以这样美——Ubuntu1804安装、配置、美化-踩坑记

之后就是配置我们的深度学习环境了。目前我主要用tensorflow，只记录这个。

主要步骤：

好了，可以从GitHub上下点example跑起来了，CNN的计算有了1080TI的加持还是很快的，开心～～

需要配置远程访问，jupyter notebook服务。远程Pycharm调试环境。
这里有个麻烦，就是家里是局域网，而且接的是长城渣宽带，没有独立IP，需要用frp中转一下。

---