哪些GPU服务器适合深度学习场景？

在深度学习场景中，GPU服务器是必不可少的一部分，也是可以提高计算速度和精度的关键，以下是几种适合深度学习场景的GPU服务器：
1 NVIDIA Tesla V100 服务器：具备高性能计算能力和内存容量，适用于深度学习、大规模数据分析和AI训练等场景。
2 AMD Radeon Instinct MI60 Server：可用于机器学习、高性能计算和图形渲染等领域，具备高速内存、流式计算和稳定性等特点。
3 Intel Movidius Neural Compute Stick：便携式的神经计算设备，可以利用USB接口与其他设备连接，适用于嵌入式设备上的深度学习场景。
以上服务器都具有针对深度学习的高速计算能力、可靠性和易用性，对于需要进行大规模数据训练、模型评估和推理等任务的用户群体非常适用。

搞AI，谁又能没有“GPU之惑”？下面列出了一些适合进行深度学习模型训练的GPU，并将它们进行了横向比较，一起来看看吧！

CPU与GPU对比

CPU是一个有多种功能的优秀领导者。它的优点在于调度、管理、协调能力强，计算能力则位于其次。而GPU相当于一个接受CPU调度的“拥有大量计算能力”的员工。

下图是处理器内部结构图：

DRAM即动态随机存取存储器，是常见的系统内存。

Cache存储器：电脑中作为高速缓冲存储器，是位于CPU和主存储器DRAM之间，规模较小，但速度很高的存储器。

算术逻辑单元ALU是能实现多组算术运算和逻辑运算的组合逻辑电路。

当需要对大数据bigdata做同样的事情时，GPU更合适，当需要对同一数据做很多事情时，CPU正好合适。

GPU能做什么？关于图形方面的以及大型矩阵运算，如机器学习算法等方面，GPU就能大显身手。

简而言之，CPU擅长统领全局等复杂 *** 作，GPU擅长对大数据进行简单重复 *** 作。CPU是从事复杂脑力劳动的教授，而GPU是进行大量并行计算的体力劳动者。

深度学习是模拟人脑神经系统而建立的数学网络模型，这个模型的最大特点是，需要大数据来训练。因此，对电脑处理器的要求，就是需要大量的并行的重复计算，GPU正好有这个专长，时势造英雄，因此，GPU就出山担当重任了。

太长不看版
截至2020年2月，以下GPU可以训练所有当今语言和图像模型：

RTX 8000：48GB VRAM，约5500美元RTX 6000：24GB VRAM，约4000美元Titan RTX：24GB VRAM，约2500美元
以下GPU可以训练大多数（但不是全部）模型：RTX 2080 Ti：11GB VRAM，约1150美元GTX 1080 Ti：11GB VRAM，返厂翻新机约800美元RTX 2080：8GB VRAM，约720美元RTX 2070：8GB VRAM，约500美元
以下GPU不适合用于训练现在模型：RTX 2060：6GB VRAM，约359美元。
在这个GPU上进行训练需要相对较小的batch size，模型的分布近似会受到影响，从而模型精度可能会较低。
GPU购买建议
RTX 2060（6 GB）：你想在业余时间探索深度学习。RTX 2070或2080（8 GB）：你在认真研究深度学习，但GPU预算只有600-800美元。8 GB的VRAM适用于大多数模型。RTX 2080 Ti（11 GB）：你在认真研究深度学习并且您的GPU预算约为1,200美元。RTX 2080 Ti比RTX 2080快大约40％。Titan RTX和Quadro RTX 6000（24 GB）：你正在广泛使用现代模型，但却没有足够买下RTX 8000的预算。Quadro RTX 8000（48 GB）：你要么是想投资未来，要么是在研究2020年最新最酷炫的模型。NV TESLA V100 （32GB）：如果你需要在NVIDIA数据中心使用CUDA，那么TESLA就是必选品了。图像模型
内存不足之前的最大批处理大小：表示GPU没有足够的内存来运行模型。
性能（以每秒处理的图像为单位）：表示GPU没有足够的内存来运行模型。
语言模型
内存不足之前的最大批处理大小：表示GPU没有足够的内存来运行模型。
性能： GPU没有足够的内存来运行模型。
使用Quadro RTX 8000结果进行标准化后的表现
图像模型
语言模型

结论
语言模型比图像模型受益于更大的GPU内存。注意右图的曲线比左图更陡。这表明语言模型受内存大小限制更大，而图像模型受计算力限制更大。具有较大VRAM的GPU具有更好的性能，因为使用较大的批处理大小有助于使CUDA内核饱和。具有更高VRAM的GPU可按比例实现更大的批处理大小。只懂小学数学的人都知道这很合理：拥有24 GB VRAM的GPU可以比具有8 GB VRAM的GPU容纳3倍大的批次。比起其他模型来说，长序列语言模型不成比例地占用大量的内存，因为注意力（attention）是序列长度的二次项。
附注：测试模型
图像模型：
语言模型：

云轩Cloudhin专注Deep learning和高性能计算服务器定制，针对主要深度学习框架（如TensorFlow、Caffe 2、Theano或Torch）进行了优化和设置，在桌面上即可提供强大的深度学习功能。

云服务器的配置规格影响价格，也直接决定了它的计算能力和特点，是在采购时要重点考虑的问题。

选云服务器配置，看这三个维度

云服务器的配置规格主要取决于类型、代别、实例大小三个最重要的维度。

维度一：类型

云服务器的“类型”或“系列”，是指具有同一类设计目的或性能特点的云服务器类别。
通常来说，云厂商会提供通用均衡型、计算密集型、内存优化型、图形计算型等常见的云服务器类型。这些类型对应着硬件资源的某种合理配比或针对性强化，方便你在面向不同场景时，选择最合适的那个型号。

vCPU 数和内存大小（按GB计算）的比例，是决定和区分云服务器类型的重要依据之一。

通用均衡型的比例通常是1:4，如 2核8G，这是一个经典搭配，可用于建站、应用服务等各种常见负载，比如作为官网和企业应用程序的后端服务器等。

如果 vCPU 和内存比是1:2，甚至1:1，那就是计算密集型的范畴，它可以用于进行科学计算、视频编码、代码编译等计算密集型负载。

比例为1:8及以上，就被归入内存优化型，比如8核64G的搭配，它在数据库、缓存服务、大数据分析等应用场景较为常见。

图形计算型是带有GPU能力的虚拟机，一般用于机器学习和深度学习模型的训练和推理。随着 AI的火热，这类机器也越来越多地出现在各种研发和生产环境中。

在主流云计算平台上，常常使用字母缩写来表达云服务器的系列。比如，AWS 的通用型是M系列，阿里云的内存优化型为R系列，Azure的计算优化型为F系列。

维度二：代别

云服务器的“代”(Generation)，用来标识这是该系列下第几代的机型。
数据中心硬件和虚拟化技术是在不断发展的，云厂商需要不断地将最新的技术和能力推向市场，所以即便是同一系列的机型，不同的代别之间也会有不小的区别。

同类型云服务器的更新换代，往往会先带来相应硬件CPU的换代提升。由于CPU在不断更新，所以云服务器的单核性能未必相同。有时，虽然两个云服务器的核数一致，但由于底层芯片的架构和频率原因，性能上可能有较大的差别。

新一代的型号，往往对应着全新的特制底层物理服务器和虚拟化设施，能够提供更高的性能价格比。

维度三：实例大小

云服务器的实例大小（Size），指的是硬件计算资源的规模。
在选定的机器类型和代别下，我们能够自由选择不同的实例大小，以应对不同的计算负载。在描述实例大小时，业界常常使用medium、large、xlarge 等字眼来进行命名区分，这样的描述基本已经成为事实标准，包括AWS、阿里云、腾讯云在内的多家主流厂商都在使用。

大致可以这样记忆：标准large对应的是2vCPU的配备，xlarge则代表4个vCPU，而更高配置一般用nxlarge来表达，其中n与xlarge代表的4vCPU 是乘法关系。比如，8xlarge 就说明这是一台84=32vCPU的机器。

如若要更严谨的表述配置，则使用vCPU而非核数（Core）来描述云服务器处理器的数量。因为超线程（HyperThreading）技术的普遍存在，常常一个核心能够虚拟出两个vCPU的算力，但也有些处理器不支持超线程，所以 vCPU是更合适的表达方式，不容易引起混淆和误解。

在某些场景下，你可能还会看到“metal”或者“bare metal”这样的描述规格的字眼，中文称为“裸金属”。它们就是云服务商尽最大可能将物理裸机以云产品方式暴露出来的实例，主要用于一些追求极致性能，或是需要在非虚拟化环境下运行软件的场景。

云服务器的命名规则

云服务器的型号名称一般由类型、代别、实例大小这几项的缩写组合而成，有时还会带有补充后缀。AWS的命名规则最具代表性（阿里云采用的也是非常类似的格式）：

当你理解了云服务器的命名规则后，今后看到某个具体型号，便能够很快明白背后的含义，晦涩的字符串立刻变得清晰。

比如，分解r54xlarge这个型号，这首先是一个R类型第5代的内存型机器，它应该有4×4=16个vCPU，内存大小则是16×8=128G（内存型机器的CPU内存比一般为1:8）。

当然，并非所有的云都一定是采用类似 AWS 的命名规则，微软Azure就用了一个略有不同的命名体系，大致可以总结为：

比如“E4v3”，就代表了微软Azure上4核32G的第三代内存型机器。掌握了Azure的格式特征后，你同样能够很快地解读标识的具体含义。

在命名公式中，还有一个称之为“后缀”的可选部分，在许多的型号命名中都能看到它。它一般是作为型号硬件信息的一个重要补充，这种型号与不带此后缀的标准版本相比，有一些显著的区别或特点。比如阿里云，表达“网络增强”含义的后缀是“ne”。

如何验证机型配置与期望相匹配？
在Linux环境下，可以使用lscpu命令来了解云服务器的CPU信息，并与机器的具体型号名称进行对照。下图是在一台AWS的m5axlarge机型上运行的结果，可以看到芯片提供商AMD及双核四线程等关键信息，与机型命名的含义相符：

>对于采用aspnet技术＋SQL2000数据库的网站对服务器并没有特别的需求，一般的WEB服务器已经足够！
因为aspnet技术对服务器的硬件并没有过于苛刻的要求，作为web服务器来说，普通的至强也就是Intel XEON系列处理器28GHz及以上 内存1G及以上、硬盘160G，已经足够了！
aspnet技术主要在于他采用崭新的核心技术、也就是运行aspnet需要Windows 2003 Server 服务器版 *** 作系统＋IIS60 （2003自带）＋微软的Microsoft NET Framework 20 SP2支持，只要系统上面安装了这些东东就支持aspnet 最新版本 net20（向下兼容11）所开发的基于WEB的程序！

---