做深度学习，需要配置专门的GPU服务器吗？

深度学习是需要配置专门的GPU服务器的:

深度学习的电脑配置要求：

1、数据存储要求

在一些深度学习案例中，数据存储会成为明显的瓶颈。做深度学习首先需要一个好的存储系统，将历史资料保存起来。

主要任务：历史数据存储，如：文字、图像、声音、视频、数据库等。

数据容量：提供足够高的存储能力。

读写带宽：多硬盘并行读写架构提高数据读写带宽。

接口：高带宽，同时延迟低。

传统解决方式：专门的存储服务器，借助万兆端口访问。

缺点：带宽不高，对深度学习的数据读取过程时间长(延迟大，两台机器之间数据交换)，成本还巨高。

2、CPU要求

当你在GPU上跑深度网络时，CPU进行的计算很少，但是CPU仍然需要处理以下事情：

（1）数据从存储系统调入到内存的解压计算。

（2）GPU计算前的数据预处理。

（3）在代码中写入并读取变量，执行指令如函数调用，创建小批量数据，启动到GPU的数据传输。

（4）GPU多卡并行计算前，每个核负责一块卡的所需要的数据并行切分处理和控制。

（5）增值几个变量、评估几个布尔表达式、在GPU或在编程里面调用几个函数——所有这些会取决于CPU核的频率，此时唯有提升CPU频率。

传统解决方式：CPU规格很随意，核数和频率没有任何要求。

3、GPU要求

如果你正在构建或升级你的深度学习系统，你最关心的应该也是GPU。GPU正是深度学习应用的核心要素——计算性能提升上，收获巨大。

主要任务：承担深度学习的数据建模计算、运行复杂算法。

传统架构：提供1~8块GPU。

4、内存要求

至少要和你的GPU显存存大小相同的内存。当然你也能用更小的内存工作，但是，你或许需要一步步转移数据。总而言之，如果钱够而且需要做很多预处理，就不必在内存瓶颈上兜转，浪费时间。

主要任务：存放预处理的数据，待GPU读取处理，中间结果存放。

深度学习需要强大的电脑算力，因此对电脑的硬件配置自然是超高的，那么现在普通的高算力电脑需要高配置硬件。

现代的硬件更新换代的太快了，越来越多的机器学习从业者又开始面临选择GPU的难题，机器学习的成功很大程度上取决于硬件的承载能力。深度学习是机器学习的一个分支，深度学习使用神经网络来解决问题。在选择GPU的时候，我们要注意内存宽带，GPU处理大量数据的能力，最重要的性能指标；处理能力，表示GPU处理数据的速度；显卡大小等等。思腾合力是我们公司目前合作的服务商，你可以去了解下。他们家是专注于人工智能领域，适用于GPU高性能计算、深度学习训练及推理等场景，覆盖服务器/静音工作站等多种产品形态，自主品牌AI服务器及通用X86服务器，主营深思IW系列GPU服务器产品可支持1~20颗GPU，适用于深度学习训练及推理等场景，还挺不错的。

主要是看运行什么软件和数据量，训练数值大小，这里要强调一下，数值大小和数据量是不一样的。

深度学习服务器的核心部件还是CPU、硬盘、内存、GPU，特别是很多深度学习依靠GPU的大规模数据处理能力，这就要强调CPU的计算能力和数量，同时不同的数据对GPU的显存要求也不一样。

当下大部分都在用RTX3090做深度学习，最新RTX4090已经上市，单精度计算能力是RTX3090的2倍，这两个GPU都是24G显存；像A100强调双精度计算能力，显存有40G和80G两个版本，而A6000单精度计算能和RTX3090差不多，显存是48G，可以参考选择。

当然，最重要的还是口袋里的银子，A6000市场价大概是RTX的2倍还要多，A100最近更是要上十万了，估计也快买不到了，价高缺货；RTX3090/4090的价位低，性价比高，这也是为什么大部分人都选择它们做深度学习了，这是市场的选择。

因为专业啊（大笑），言归正传之前有和这家公司合作过。拥有完全自主研发和灵活定制能力，是国内最早从事液冷GPU服务器的厂商之一，并且在独到的加固、保密和安全等产品技术领域有深厚的积累。蓝海大脑端到端的解决方案，赋能AI、云计算、大数据、5G、区块链、元宇宙等新兴技术创新和应用，积极为中国新基建、信创、东数西算、社会经济的数字化和智能化转型升级提供坚实的算力保证。同时重视全球合作共赢，与英特尔Intel、英伟达NVIDIA、希捷、华为、飞腾等国内外产业链伙伴保持紧密的战略合作关系，加速产品方案的适配和应用场景拓展，更好地服务各行业用户。

GPU服务器的主要应用场景有海量计算处理，超强的计算功能可应用与海量数据处理方面的运算，如搜索、大数据推荐、智能输入法等，可能原本需要几天才能完成的数据量，用GPU服务器在几个小时就完成了；GPU服务器还可以作为深度学习训练平台，可直接加速计算服务，亦可直接与外界连接通信等等。思腾合力在GPU服务器的型号方面还是有很多选择的，有自主研发的品牌也有英伟达的，在选择方面还是比较多的，应用的场景也十分广泛。

针对不同深度学习架构，GPU参数的选择优先级是不一样的，性价比可能是选择一张GPU最重要的考虑指标。英伟达无疑是深度学习硬件领域中的领导者，大多数深度学习库都对英伟达GPU提供最佳支持，软件是英伟达GPU非常强大的一部分。或者找英伟达的经销商也是可以的，我们公司的服务器就是找英伟达官方授权的经销商思腾合力合作的，质量和售后服务都挺不错的，用到现在也没出现过什么问题。

Gpu服务器自带深度学习框架，GPU一个比较重要的优势就是他的内存结构，首先是共享内存，每个流处理器集群末端设有共享内存，提供深度学习框架。服务器性能主要决定于GPU的浮点运算能力，对深度学习任务来说，单精浮点运算以及更低的半精浮点运算性能则更为重要。

GPU使显卡减少了对CPU的依赖，并进行部分原本CPU的工作，尤其是在3D图形处理时GPU所采用的核心技术有硬件T&L、立方环境材质贴图和顶点混合、纹理压缩和凹凸映射贴图、双重纹理四像素256位渲染引擎等，而硬件T&L技术可以说是GPU的标志。

制造工艺

集成电路发展到纳米级工艺 ，不断逼近物理极限 ，出现了所谓红墙问题，一是线的延迟比门的延迟越来越重要。长线不仅有传输延迟问题，而且还有能耗问题。二是特征尺寸已小到使芯片制造缺陷不可避免，要从缺陷容忍、故障容忍与差错容忍等三个方面研究容错与避错技术。

以上内容参考  百度百科-gpu

---