深度学习跑700多张图片的数据集,租什么样的服务器比较好

深度学习跑700多张图片的数据集,租什么样的服务器比较好,第1张

珍岛GPU云服务器。
珍岛GPU云服务器适用于深度学习,针对AI,数据分析在各种规模上实现出色的加速,应对极其严峻的计算挑战,同时珍岛云提供多种GPU实例规格。

实验室没有服务器可以用Googlecolab跑深度学习模型。具体 *** 作步骤如下:
1、创建colab文件:进入Google云盘后,创建一个colab文件。第一次使用,会存在colab选项不显示的情况,点击关联更多应用即可。点击colab选项后会跳转到一个页面,与jupyter基本一模一样,可输入代码段,能连接服务器,有文件目录、colab文件名和使用选项。
2、配置colab环境:点击修改后点击笔记本设置就可以配置gpu了,硬件加速选择gpu,点击连接即配置好环境,将Googledrive的云空间连接起来,就有了drive文件夹,现在配置已经全部完成。
3、配置完成就可以使用Googlecolab跑深度学习模型了,gpu是k80计算速度慢,可以再新建一个colab文件,两三次就可以开到p100了。gpu用完的场景,需要1天时间恢复,可以再弄一个谷歌账号重复上述 *** 作。

深度学习是需要配置专门的GPU服务器的:

深度学习的电脑配置要求:

1、数据存储要求

在一些深度学习案例中,数据存储会成为明显的瓶颈。做深度学习首先需要一个好的存储系统,将历史资料保存起来。

主要任务:历史数据存储,如:文字、图像、声音、视频、数据库等。

数据容量:提供足够高的存储能力。

读写带宽:多硬盘并行读写架构提高数据读写带宽。

接口:高带宽,同时延迟低。

传统解决方式:专门的存储服务器,借助万兆端口访问。

缺点:带宽不高,对深度学习的数据读取过程时间长(延迟大,两台机器之间数据交换),成本还巨高。

2、CPU要求

当你在GPU上跑深度网络时,CPU进行的计算很少,但是CPU仍然需要处理以下事情:

(1)数据从存储系统调入到内存的解压计算。

(2)GPU计算前的数据预处理。

(3)在代码中写入并读取变量,执行指令如函数调用,创建小批量数据,启动到GPU的数据传输。

(4)GPU多卡并行计算前,每个核负责一块卡的所需要的数据并行切分处理和控制。

(5)增值几个变量、评估几个布尔表达式、在GPU或在编程里面调用几个函数——所有这些会取决于CPU核的频率,此时唯有提升CPU频率。

传统解决方式:CPU规格很随意,核数和频率没有任何要求。

3、GPU要求

如果你正在构建或升级你的深度学习系统,你最关心的应该也是GPU。GPU正是深度学习应用的核心要素——计算性能提升上,收获巨大。

主要任务:承担深度学习的数据建模计算、运行复杂算法。

传统架构:提供1~8块GPU。

4、内存要求

至少要和你的GPU显存存大小相同的内存。当然你也能用更小的内存工作,但是,你或许需要一步步转移数据。总而言之,如果钱够而且需要做很多预处理,就不必在内存瓶颈上兜转,浪费时间。

主要任务:存放预处理的数据,待GPU读取处理,中间结果存放。

深度学习需要强大的电脑算力,因此对电脑的硬件配置自然是超高的,那么现在普通的高算力电脑需要高配置硬件。

最近在学习机器学习,看到了深度学习这一部分。用tensorflow写了几个例子,CNN的,然后在我的15年版的MacbookPro上跑了跑了,训练速度真是不忍直视,而且,风扇呼呼转,真是心疼我这个Mac了。于是意识到显卡这个东西真是个门槛。因此才想着搞一台高配置的主机来跑深度网络。

既然是跑深度学习,那么直接在电商网站上搜一下深度学习主机买来不就得了? 理论总是那么简单。。。
事实上,我看了下专门跑深度学习的主机,基本都是服务器级别的,动辄2W+ 。我是没这么多银子来投入这个的,没办法,穷人啊。

那么,想一下自己需求,找一个合适的主机吧。我的目的也很简单的:

好了, 这么一罗列就明确了,就是一个高配游戏主机喽。不要误会,这是巧合~~ 于是 我去闲鱼上瞅了瞅,看出点门道,一般i7 8700 + 1080Ti显卡的主机,就可以卖到1W了~~ 啧啧 游戏真是败家。

一开始我也想着直接买个这种主机,省事儿,不过既然都花到1W了,对各个配置外观就很在意了。看了很多主机,感觉都不是理想中的样子,要么机箱丑, 要么主板渣,要么硬盘和内存规格不够。其实我主要在意的是CPU和显卡,只要这两个满足就OK啊,然后就可以慢慢攒出自己想要的主机了。我看了闲鱼上的价格,i7 8代CPU的价格,代购的话也就2500左右,为了以后升级考虑,直接上了i7 8086K(这是个intel为了纪念第一代8086芯片40周年的纪念品,其实是从8700K中挑出来的体质好的片),4GHZ,高主频,干事儿快。1080Ti的显卡是最具性价比的了,二手价格4K左右,不过容易踩到雷买到挖矿的卡~ 这个小心了。

总的来说,各个配件都准备妥当了,来一下清单:

总计: 9800吧~(真贵)~ 总的来说,必直接先闲鱼上的主机要好一些,多了可配置性。

这个就不展开了,按照说明书一步步来就好。主要是安装顺序以及接线。
安装顺序:电源装到机箱 -> CPU装到主板 -> 主板装到机箱 -> 水冷 散热风扇 -> 接线
这里有两个地方需要注意:

最后上个成品图 啊哈哈~

这么好的显卡不玩玩游戏是不是亏了?? 那就保留一个win系统吧~

现在网上的双系统如何安装帖子都是老教程了~ Ubuntu都发布了1804,支持UEFI+GPT。那么如何搞呢?

首先,先安装win10,如果是自己制作U盘启动项,务必选择UEFI+GPT组合模式,也就是做用UEFI模式引导,硬盘为GPT格式。如果不是,那么需要检查一下并完成转换,这里有个教程,直接用win10自带的工具就能做到,但是前提是win10升级到1703之后的版本。

用Win10自带的MBR2GPT无损转换GPT磁盘分区形式

然后就是安装Ubuntu1804了。我是安装在一个磁盘里,因此需要先空出一定大小的未分配空间。然后制作Ubuntu1804的U盘启动项,选择UEFI+GPT组合模式。这里是官方教程:

win系统上制作Ubuntu的U盘启动

然后按照这个教程就好了: Windows10+Ubuntu1804双系统安装

安装好Ubuntu1804之后登录进去发现系统变漂亮了(但是还是一贯的难用,相比Mac和win)。可以进行一些美化 *** 作。。 好像很多人喜欢这个,贴个教程吧: Linux也可以这样美——Ubuntu1804安装、配置、美化-踩坑记

之后就是配置我们的深度学习环境了。目前我主要用tensorflow,只记录这个。

主要步骤:

好了,可以从GitHub上下点example跑起来了,CNN的计算有了1080TI的加持还是很快的,开心~~

需要配置远程访问,jupyter notebook服务。远程Pycharm调试环境。
这里有个麻烦,就是家里是局域网,而且接的是长城渣宽带,没有独立IP,需要用frp中转一下。

实事求是的说,蓝海大脑的深度学习边缘计算服务器不错,除了夏天有点热。他们的服务器功耗低,性能可靠,最重要的是可以用于深度学习、自动驾驶、人脸检测、机器识别、视觉识别、行为识别等领域。

不一定,深度学习可以在本地计算机上运行,也可以在服务器上运行。但是,通常情况下,深度学习需要处理大量的数据和复杂的计算,因此需要比普通计算机更高效的硬件和更大的存储空间。因此,一些公司和组织通常会使用高性能计算机(HPC)或云计算平台来运行深度学习任务。
在本地运行深度学习任务的主要优点是可以对计算机进行更好的控制,可以使用自己的硬件和软件。此外,本地计算机可以更好地保护数据的隐私和安全性。但是,本地计算机的计算能力和存储空间通常受限,因此可能无法满足大规模深度学习任务的需求。
使用服务器或云计算平台运行深度学习任务的主要优点是可以获得更高的计算能力和更大的存储空间。此外,使用云计算平台可以根据需要调整计算资源的规模,从而更好地应对不同规模的深度学习任务。但是,使用云计算平台需要支付相应的费用,并且需要注意数据隐私和安全性的保护。

其实你可以去腾讯云去租用GPU云服务器来进行深度学习计算。腾讯云 GPU 实例类型众多,应用广泛,不同的实例类型有不同的产品定位。用户可以根据自身的应用场景,结合性能、价格等因素,选择最符合业务需求的实例。
比如你要进行深度学习计算,建议使用腾讯云GN8/GN10X 实例。GN10Xp配备Tesla V100 NVLink 32GB GPU,具有强大的单精度浮点运算能力,并具备较大的 GPU 板载内存。最大实例规格配置8个 V100 ,80个 vGPU 和320GB主机内存,是深度学习训练的首选。
GN10Xp 最大实例规格具备1256 TFLOPS 单精度浮点运算能力,支持 Tensor Core 加速,单卡搭载32GB显存,GPU 卡之间通过300GB/s的 NVLink 高速互连。强大的计算与数据吞吐能力大大缩短训练周期,使得复杂模型的快速迭代成为可能,人工智能相关业务得以把握先机。
腾讯云GPU云服务器,管理很简单GPU云服务器采用和云服务器CVM一致的管理方式,无需跳板机登录,简单易用。清晰的显卡驱动的安装、部署指引,免去高学习成本。而且节约成本,你无需预先采购、准备硬件资源,一次性购买,免除硬件更新带来的额外费用,有效降低基础设施建设投入。目前,腾讯云的GPU云服务器已全面支持包年包月计费和按量计费,你可以根据需要选择计费模式。

深度学习是作为机器学习的一个算法而存在,被称为人工神经网络,由于受到算法理论、数据、硬件的制约,多年以来一直都是单层或浅层的网络结构。随着大数据的发展,以及大规模硬件加速设备的出现,特别是GPU的不断提升,使得神经网络重新受到重视。深度学习的发展需要大数据跟计算力的支撑,蓝海大脑专注于人工智能领域,适用于GPU高性能计算、深度学习训练及推理等场景,覆盖服务器、静音工作站等多种产品形态,能够满足客户全场景需求,80%做人工智能科研等领域研究的重点高校已应用蓝海大脑的产品。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zz/10456525.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-08
下一篇 2023-05-08

发表评论

登录后才能评论

评论列表(0条)

保存