推荐一款适合深度学习AI场景应用性能较好的服务器

推荐一款适合深度学习AI场景应用性能较好的服务器,第1张

深度学习是机器学习的分支,是一种以人工神经网络为架构,对数据进行表征学习的算法。深度学习在搜索技术,数据挖掘,机器学习,机器翻译,自然语言处理等多个领域都取得了卓越的成果,可见其重要性

熟悉深度学习的人都知道,深度学习是需要训练的,所谓的训练就是在成千上万个变量中寻找最佳值的计算。这需要通过不断的尝试识别,而最终获得的数值并非是人工确定的数字,而是一种常态的公式。通过这种像素级的学习,不断总结规律,计算机就可以实现像人一样思考。因而,更擅长并行计算和高带宽的GPU,则成了大家关注的重点。

很多人认为深度学习GPU服务器配置跟普通服务器有些不一样,就像很多人认为做设计的机器一定很贵一样。其实只要显卡或者CPU满足深度学习的应用程序就可以进行深度学习。由于现在CPU的核心数量和架构相对于深度学习来说效率会比GPU低很多,所以大部分深度学习的服务器都是通过高端显卡来运算的。

这里谈谈关于深度学习GPU服务器如何选择,深度学习服务器的一些选购原则和建议:

1、电源:品质有保障,功率要足够,有30~40%冗余

稳定、稳定、还是稳定。一个好的电源能够保证主机再长时间运行不宕机和重启。可以想象一下,计算过程中突然重启,那么又要重来,除了降低效率,还影响心情。有些电源低负载使用的时候可能不出问题,一旦高负载运行的时候就容易出问题。选择电源的时候一定要选择功率有冗余品质过硬,不要功率刚刚好超出一点。

2、显卡:目前主流RTX3090,最新RTX4090也将上市

显卡在深度学习中起到很重要的作用,也是预算的一大头。预算有限,可以选择RTX3080 /RTX3090/RTX4090(上月刚发布,本月12日上市)。预算充足,可以选择专业深度学习卡Titan RTX/Tesla V100 /A6000/A100/H100(处于断供中)等等。

3、CPU:两家独大,在这要讲的是PC级和服务器级别处理器的定位

Intel的处理器至强Xeon、酷睿Core、赛扬Celeron、奔腾Pentium和凌动Atom5个系列,而至强是用于服务器端,目前市场上最常见的是酷睿。当下是第三代Xeon Scalable系列处理器,分为Platinum白金、Gold金牌、 Silver 银牌。

AMD处理器分为锐龙Ryzen、锐龙Ryzen Pro、锐龙线程撕裂者Ryzen Threadripper、霄龙EPYC,其中霄龙是服务器端的CPU,最常见的是锐龙。当下是第三代 EPYC(霄龙)处理器 ,AMD 第三代 EPYC 7003 系列最高 64核。

选择单路还是双路也是看软件,纯粹的使用GPU运算,其实CPU没有多大负载。考虑到更多的用途,当然CPU不能太差。主流的高性能多核多线程CPU即可。

4、内存:单根16G/32G/64G 可选,服务器级别内存有ECC功能,PC级内存没有,非常重要

内存32G起步,内存都是可以扩展的,所以够用就好,不够以后可以再加,买多了是浪费。

5、硬盘:固态硬盘和机械硬盘,通常系统盘追求速度用固态硬盘,数据盘强调存储量用机械盘

固态选择大品牌企业级,Nvme或者SATA协议区别不大,杂牌固态就不要考虑了,用着用着突然掉盘就不好了。

6、机箱平台:服务器级别建议选择超微主板平台,稳定性、可靠性是第一要求

预留足够的空间方便升级,比如现在使用单显卡,未来可能要加显卡等等;结构要合理,合理的空间更利于空气流动。最好是加几个散热效果好的机箱风扇辅助散热。温度也是导致不稳定的一个因素。

7、软硬件支持/解决方案:要有

应用方向:深度学习、量化计算、分子动力学、生物信息学、雷达信号处理、地震数据处理、光学自适应、转码解码、医学成像、图像处理、密码破解、数值分析、计算流体力学、计算机辅助设计等多个科研领域。

软件: Caffe, TensorFlow, Abinit, Amber, Gromacs, Lammps, NAMD, VMD, Materials Studio, Wien2K, Gaussian, Vasp, CFX, OpenFOAM, Abaqus, Ansys, LS-DYNA, Maple, Matlab, Blast, FFTW, Nastran等软件的安装、调试、优化、培训、维护等技术支持和服务。

————————————————

版权声明:本文为CSDN博主「Ai17316391579」的原创文章,遵循CC 40 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:>

宇宙可能是一个巨大的神经网络,这个说法已经在民间流行很多年了,随着人类对宇宙认识的不断加深,未来甚至还会有更多的奇思妙想。不过最近,来自美国明尼苏达大学德卢斯分校的物理学教授维塔利·范丘林(Vitaly Vanchurin)在接受一个媒体采访时发布了一个惊人的理论,称宇宙在最基本层面上可能就是一个神经网络,而且这就是我们周围世界运作的实际方式。

实际范丘林去年8月就在预打印服务器arXiv上发表了一篇论文《作为神经网络的这个世界》,探讨了整个宇宙就是神经网络的可能性。之所以说惊人,是因为很少有科学家敢于如此大胆地发表这样的研究,毕竟宇宙是神经网络通常被认为是科幻或民科的范畴,科学家说出来就很不严肃了。

范丘林的核心思想很简单,整个宇宙中的每一个可观测对象,都可以用神经网络来建模,这意味着从广义上说,宇宙本身可能就是一个神经网络。而在适当的限制下,宇宙神经网络的动力学完全可以用还在发展的量子力学和广义相对论来近似。

范丘林确定了两种不同类型的动态自由度,包括“可训练”变量(如偏差向量或权重矩阵)和“隐藏”变量(如神经元的状态向量)。在可训练变量的随机演化中,范丘林证明在接近平衡时,其动力学可以用马德隆方程(Madelung equations)很好地近似,而在远离平衡时,则可以用汉密尔顿-雅可比方程很好地近似。这意味着可训练变量确实可以表现出经典和量子行为。而在研究隐藏变量的随机演化时,同样发现神经网络的学习动力学确实可以表现出量子力学和广义相对论所描述的近似行为。

所以范丘林得出了一个极为大胆的结论,宇宙在最基本层面上可能就是一个神经网络,而且这就是我们周围世界运作的实际方式。他认为要推翻他这个观点很容易,只需找到一个无法用神经网络原理描述的物理现象即可,然而现在似乎还找不到这样的现象。

范丘林甚至更大胆地提出,自然选择可能在所有尺度上都会发生,宇宙神经网络同样遵循自然选择的原则。不管是大于10^15米的宇宙尺度,还是100米到百万分之一米的生物尺度,还是小于10^-15米的亚原子尺度,自然选择可能无处不在。

根据自然选择的观点,更稳定的结构才能存活下来。那么我们现在所说的原子和粒子,实际上可能是从一些非常低复杂性的结构开始长期进化的结果;而我们现在所说的宏观观察者和生物细胞,可能就是更长时间进化的结果。

看来这硬是要把宇宙生生往一个巨大生物的路上逼了,那么宇宙都是一个生物了,我们又算什么呢?每个人都是巨大神经网络上的一个节点?我们存在的目的倒好解释,那么这个宇宙生物存在的意义又是什么呢?

当然,范丘林自己也认为,目前认为自然选择可能在所有尺度上都相关的说法还是推测性的,但把宇宙看成一个巨大的神经网络,似乎确实为观察者提供了一个非常有趣的新视角。

那么你的看法是什么呢?你要怎样证明宇宙是一个巨大的神经网络,或者干脆就是一个巨大的生物呢?

我将对代码进行补充演练,以构建在数据集上训练的任何类型的图像分类器。在这个例子中,我将使用花卉数据集,其中包括102种不同类型的花。需要数据集和代码都可以私信我。

Pytorch是机器学习和Python上的免费软件包,非常易于使用。语法模拟numpy,因此,如果你在python中有一些科学计算经验,那么会相当有用的。只需几行代码,就可以下载预先训练的数据集,使用定义的变换对图像进行标准化,然后运行训练。

创建和扩充数据集

为了增加数据集,我使用' google_images_download'API 从互联网上下载了相关图像。显然,您可以使用此API不仅可以扩充现有数据集,还可以从头开始创建自己的数据集。

确保从图像中挑选出异常值(损坏的文件或偶然出现的无关图像)。

图像标准化

为了使图像具有相同的大小和像素变化,可以使用pytorch的transfors模块:

转移学习

从头开始训练的模型可能不是最明智的选择,因为有许多网络可用于各种数据集。简单地说,像edge-和其他简单形状检测器等低级特征对于不同的模型是相似的,即使clasificators是针对不同目的进行训练的。在本项目中,我使用了一个预训练网络Resnet152,只有最后一个完全连接的层重新用于新任务,即使这样也会产生相当好的效果。

在这里,我将除最后一层之外的所有层都设置为具有固定权重(requires_grad = False),因此只有最后层中的参数将通过梯度下降进行更新。

训练模型

下面介绍一下进行训练的函数:

如何获得GPU?

当然,对CPU的训练太慢了。根据我自己的经验,在GPU仅需要一个小时就可以完成12次训练周期,但是在CPU上相同数量的训练周期可能需要花费大约15个小时。

如果您没有本地可用的GPU,则可以考虑使用云GPU。为了加速CNN的训练,我使用了floydhub(>

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zz/13340661.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-07-18
下一篇 2023-07-18

发表评论

登录后才能评论

评论列表(0条)

保存