pytorch共享gpu和专用gpu有什么区别

1GPU：计算机图显核心
11 GPU：计算机图形显示核心
GPU基本概念：图形处理器（graphics processing unit，缩写GPU），又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上做图像和图形相关运算工作的微处理器。
GPU是显卡的处理器：显卡全称显示适配卡，又称显示适配器，用于协助CPU进行图像处理，作用是将CPU送来的图像信号经过处理再输送到显示器上，由主板连接设备、监视器连接设备、处理器和内存组成，GPU即是显卡处理器。
12 GPU擅长大规模并发计算
GPU工作原理：GPU的工作通俗的来说就是完成3D图形的生成，将图形映射到相应的像素点上，对每个像素进行计算确定最终颜色并完成输出，一般分为顶点处理、光栅化计算、纹理贴图、像素处理、输出五个步骤。GPU采用流式并行计算模式，可对每个数据行独立的并行计算。
GPU与CPU区别：CPU基于低延时设计，由运算器（ALU）和控制器（CU），以及若干个寄存器和高速缓冲存储器组成，功能模块较多，擅长逻辑控制，串行运算。GPU基于大吞吐量设计，拥有更多的ALU用于数据处理，适合对密集数据进行并行处理，擅长大规模并发计算，因此GPU也被应用于AI训练等需要大规模并发计算场景。
13 GPU可分为独立GPU和集成GPU
独立GPU：独立GPU一般封装在独立的显卡电路板上，使用专用的显示存储器，独立显卡性能由GPU性能与显存带宽共同决定。一般来讲，独立GPU的性能更高，但因此系统功耗、发热量较大。
集成GPU：集成GPU常和CPU共用一个Die，共享系统内存。集成GPU的制作由CPU厂家完成，因此兼容性较强，并且功耗低、发热量小。但如果显卡运行需要占用大量内存，整个系统运行会受限，此外系统内存的频率通常比独立显卡的显存低很多，因此一般集成GPU的性能比独立GPU更低。
14 GPU广泛运用在图显和并行计算场景
GPU拥有单一的强大并行计算能力，所以用途往往是需要大规模并行计算的场景。早期GPU多被用于2D和3D图形的计算和处理，因为图形数据的处理往往涉及到大量的大型矩阵运算，计算量大但易于并行化。近年由于大数据、人工智能发展，GPU也常常被用于需要大量重复计算的数据挖掘领域，如机器学习，深度学习等。
GPU使用场景：GPU被广泛地运用于PC、服务器、移动等领域。其中服务器GPU可做专业图形处理、计算加速、深度学习等应用，以独立GPU为主；移动端GPU主要采用集成GPU；PC根据使用用途不同，既可以搭载独立GPU，也可以使用集成GPU。
15 全球GPU巨头：NVIDIA、AMD
NVIDIA（英伟达）：创立于1993年，1999年发明了GPU，最初专注PC图形，后来拓展到密集计算领域，Nvidia利用GPU创建了科学计算、人工智能、数据科学、自动驾驶汽车、机器人技术、AR和VR的平台。 Nvidia是目前全球最大的独立GPU供应商，2020年营收1668亿美元，2021Q2 Nvidia全球独立GPU市场份额达到83%。
AMD（超威半导体）：成立于1969年，目前业内稀缺的可以提供高性能CPU、高性能独立显卡GPU、主板芯片组三大组件的半导体公司。2020年AMD营收976亿美元，其中计算和图形（包括CPU、GPU、APU等）业务营收643亿美元，2021Q2 AMD全球独立GPU市场份额达到17%。
2GPU两大应用场景：图显、计算
21 2020全球GPU市场规模接近千亿美元
2020年全球GPU市场规模达到9991亿美元。3D图像显示、人工智能深度学习的需求支撑GPU市场持续增长，根据Verified Market Research数据，2020年全球GPU市场规模达到9991亿美元，预计2028年达到15816亿美元，CAGR为59%。
测算2020年中国大陆独立GPU市场规模约235亿美元。中国是全球GPU市场重要组成部分，2020年Nvidia、AMD在中国大陆收入占比分别为233%、239%，我们假设中国大陆独立GPU市场占全球235%，测算2020年中国大陆独立GPU市场规模约为235亿美元。
22 PC GPU：2020年全球出货394亿片
PC（个人电脑）是GPU重要应用场景，根据Jon Peddie Research（JPR）数据，2020年全球GPU出货394亿片，同比增长179%。
23 PC GPU：Nvidia和AMD占据独立GPU市场
Intel领导集成GPU市场。Intel（英特尔）是全球最大的CPU制造商，2021Q2占据全球775%的x86 CPU市场，集成GPU集成在CPU中，Intel凭借CPU市场地位，占据全球PC GPU大部分市场。根据JPR数据，2021Q2 Intel占据全球683%的PC GPU市场份额，Nvidia和AMD市场份额分别为152%、165%。
Nvidia和AMD占据独立GPU市场。在独立GPU领域，Nvidia具备明显的份额领先，2021Q2市占率达到83%。2006年AMD收购ATI，2010年放弃ATI品牌后推出AMD Radeon（镭龙）独立显卡系列，2021Q2 AMD独立PC GPU市场份额17%。
24 AI服务器与加速芯片
AI服务器：通常搭载GPU、FPGA、ASIC等加速芯片，利用CPU与加速芯片的组合可以满足高吞吐量互联的需求，为自然语言处理、计算机视觉、机器学习等AI应用场景提供强大的算力支持，支撑AI算法训练和推理过程。
AI加速芯片：由于CPU并不适合大规模并行计算，因此需要加速芯片执行AI算法，目前AI加速芯片主要包括图形处理器（graphics processing unit，GPU）、现场可编程门阵列（field-programmable gate array，FPGA）、专用集成电路（application specific integrated circuits，ASIC）、神经拟态芯片等。
25 GPU是AI服务器首选加速方案
服务器是AI核心基础设施。根据IDC数据，2020年中国AI基础设施市场规模为393亿美元，同比增长268%，并将在2024年达到780亿美元，其中2020年服务器市场规模占AI基础设施的87%以上，承担着最为重要的角色。
互联网行业是AI服务器最大采购行业。根据IDC数据，2020年上半年，互联网占整体加速计算服务器市场近60%的份额，同比增持超过100%；政府行业和服务业分别依次位居第二位和第三位。
GPU服务器是AI加速方案首选。IDC预计2021年中国GPU服务器占比919%左右的市场份额，是数据中心AI加速方案首选。根据IDC数据，2019年中国GPU服务器市场规模达到20亿美元，预计2024年将达到64亿美元。
26 AI服务器通常配置多个GPU芯片
GPU加速服务器能够提供优秀的浮点计算能力，从容应对高实时、高并发的海量计算场景，例如深度学习、科学计算、3D动画渲染、CAE等应用场景。
3NVIDIA：全球GPU巨头
31 全球GPU巨头
Nvidia成立于1993年，1999年上市，市值近10年增长超过83倍，近6年增长超过49倍。截至2021年11月5日，Nvidia总市值7438亿美元，总市值美股排名第七，是目前全球市值最大的半导体公司。（报告来源：未来智库）
32 三大因素推动地位提升
技术革新、场景拓展、外延并购，Nvidia引领全球GPU发展。
GPU架构：Nvidia坚持每2-3年推出一代新的GPU架构，持续保持技术领先，新的Ampere已经采用7nm工艺；应用场景：从最初图形处理到通用计算，再到AI深度学习和自动驾驶，Nvidia不断推动GPU应用场景的突破；外延并购：2000-2008年Nvidia密集收购额多家公司，涵盖显卡、图形处理、半导体等多个领域，2020年宣布计划收购ARM。
33 近年业绩高速增长
Nvidia产品主要分为两大类：图形处理、计算&网络。下游市场包括游戏、专业可视化、数据中心、汽车四大类。
2020年Nvidia营收1668亿美元（yoy+527%），净利润433亿美元（yoy+549%），其中图形处理业务营收983亿美元，计算&网络业务营收684亿美元。除去2019年游戏市场需求波动造成业绩下滑外，Nvidia近5年营收、利润均保持较快增长。
得益于基于Ampere架构新GPU产品带动游戏业务高增，以及数据中心对算力需求旺盛，2021上半年Nvidia营收、净利润快速增长。
34 游戏是最大市场，数据中心市场增速较快
Nvidia下游市场分为四类：游戏、专业可视化、数据中心、汽车，各市场重点产品如下：
游戏：GeForce RTX/GTX系列GPU（PCs）、GeForce NOW（云游戏）、SHIELD（游戏主机）；专业可视化：Quadro/RTX GPU（企业工作站）；数据中心：基于GPU的计算平台和系统，包括DGX（AI服务器）、HGX（超算）、EGX（边缘计算）、AGX（自动设备）；汽车：NVIDIA DRIVE计算平台，包括AGX Xavier（SoC芯片）、DRIVE AV（自动驾驶）、DRIVE IX（驾驶舱软件）、Constellation（仿真软件）。
35 计算业务驱动高成长
计算业务是Nvidia成长的主要驱动力：数据中心已成规模，智能汽车将进入收获期。
在数据中心市场，Nvidia拥有芯片、硬件、硬件的全栈布局。得益于全球AI应用场景的快速增加，对算力的需求飙升。是Nvidia成长最快的市场，2020年营收达到约6696亿美元，近4年CAGR达到685%，远高于游戏市场的176%。2020年Nvidia数据中心市场营收占比已经超过40%，预计未来仍将继续提升。
在智能汽车市场， Nvidia形成了全栈式自动驾驶解决方案。AGX Xavier芯片于2018年开始出货，下一代自动驾驶芯片Orin计划用于2022年量产，算力将达到254TOPS，目前已经获得蔚来、理想、沃尔沃、奔驰等多个整车厂定点项目。我们认为2022年高阶自动驾驶汽车或将集中落地，Nvidia自动驾驶将进入收获期。
36 中国大陆收入贡献提升
Nvidia中国大陆收入快速增长。2020年Nvidia来自中国大陆收入3886亿美元，同比增长423%，近4年CAGR达到314%，同期Nvidia整体营收CAGR为246%。
Nvidia中国大陆收入占比呈上升趋势。2020年Nvidia中国大陆收入占比达到233%，相比于2016年的189%提升44pct，2021上半年Nvidia中国大陆收入占比256%，上升趋势明显。
我们预计中国大陆占比仍将提升。图显业务层面，人均收入提升将带动PC需求增加；计算业务层面，目前中国大陆在AI算法、应用层面具有领先优势，自动驾驶场景也将率先得到释放。
4景嘉微：国产GPU领军
41 国内唯一商用GPU公司
景嘉微成立于2006年，公司主营业务分为图形显控、小型专用化雷达、GPU芯片三类。其中图显、雷达产品主要面向军用市场，GPU芯片产品包括JM5400、JM7200，其中JM5400主要应用于公司图显模块中，JM7200成功拓展了民用和信创市场。2021年9月，公司第三代GPU芯片JM9成功流片，目前正在进行性能测试。
42 两个系列、三款GPU量产应用
景嘉微已完成两个系列、三款GPU芯片量产应用。第一代GPU产品JM5400于2014年流片成功，主要支撑军用装备，已在国产军用飞机上实现了对ATI M9、M54、M72等芯片的替代；第二代产品JM7200于2018年8月流片成功，性能与 Nvidia的GT640显卡相近。在JM7200基础上，公司又推出

人工智能需要有大数据支撑
人工智能主要有三个分支：
1基于规则的人工智能；
2无规则，计算机读取大量数据，根据数据的统计、概率分析等方法，进行智能处理的人工智能；
3基于神经元网络的一种深度学习。
基于规则的人工智能，在计算机内根据规定的语法结构录入规则，用这些规则进行智能处理，缺乏灵活性，不适合实用化。因此，人工智能实际上的主流分支是后两者。
而后两者都是通过逗计算机读取大量数据，提升人工智能本身的能力/精准度地。如今，大量数据产生之后，有低成本的存储器将其存储，有高速的CPU对其进行处理，所以才有了人工智能后两个分支的理论得以实践。由此，人工智能就能做出接近人类的处理或者判断，提升精准度。同时，采用人工智能的服务作为高附加值服务，成为了获取更多用户的主要因素，而不断增加的用户，产生更多的数据，使得人工智能进一步优化。

GPU服务器相信很多人都知道是什么了，但是有的人还是搞不清什么时候用到GPU服务器，当我们采样数据量大、仿真、机器学习、推理、、视频编解码及3D渲染等时候，就需要用到GPU服务器，还有一些深度学习等方面。思腾合力就是一家专注于为人工智能和高性能计算领域提供深度学习、GPU高性能计算、虚拟化等产品和解决方案的厂商。2019年人工智能基础架构市场规模达到209亿美元，同比增长587%。其中GPU服务器占据961%的市场份额。IDC预测，到2024年中国GPU服务器市场规模将达到64亿美元，市场前景还是非常大的。

出品：中国科学院计算机网络信息中心 中国科普博览

4月7日，人工智能与GPU研讨会在计算机网络信息中心（以下简称“中心”）召开。北京市经济和信息化委员会软件与信息服务业处仝海威处长、中科院科发局高技术处副处长秦承虎、计算机网络信息中心廖方宇主任、迟学斌副主任、业务发展处处长许海燕、高性能计算部陆忠华主任以及英伟达、曙光信息产业股份有限公司等产业链代表共40余人参加了本次会议。

秦承虎副处长

仝海威处长

迟学斌副主任主持了开幕式，秦承虎副处长和仝海威处长先后致欢迎词。秦处长在致辞中介绍了我院在数据与计算方面多年的发展和已取得的成果，并表示我院在基础设施资源和软件研发能力方面能够为人工智能的发展提供有效支撑；同时期望计算机网络信息中心，以及院属相关研究院所在人工智能的技术研发和规模化应用方面发挥更重要的作用，提供更有效的高性能云服务，以促进北京市经济社会发展。仝处长在致辞中首先指出人工智能是形成新产业模式的重点发展领域之一，发展人工智能已被提升到国家战略层面；并对北京市在人工智能方面的有关布局进行了简要介绍；然后从人工智能技术研发、支撑体系建设以及规模化应用三个方面谈了些看法和设想。

高性能计算部主任陆忠华研究员主持了会议报告环节。

中科院自动化研究所刘成林副所长

中科院自动化研究所刘成林副所长做了题为《模式识别研究现状与趋势》的报告，主要介绍了GPU在人工智能，尤其是模式识别中的研究和应用现状以及未来发展的趋势。其中，深度学习是当前人工智能模式识别的主流方法，去年的人机大战中的Alphago就是运用深度学习方法进行训练的，它是一个复杂函数，能够完成分类或回归任务，它全面超越传统模式识别方法，当然，在计算量、泛化性、学习灵活性及鲁棒性等方面它仍然存在许多不足。

英伟达教育科研医疗行业总监袁永清总监

英伟达教育科研医疗行业总监袁永清总监的《GPU与HPC加速人工智能的发展》报告，详细介绍了英伟达目前在游戏、医疗影像、GPU加速软件和嵌入式芯片4个方面开展的业务。其中的嵌入式芯片有两个方向：一是为创新驾驶体验进行的汽车内部语音云视觉系统的开发，另一个就是被称为“无人驾驶的大脑”的世界第一款车载人工智能计算平台的开发。另外，今年将在智能协同驾驶上进行探索，包括人脸辨识，头部追踪，眼球追踪，读唇等等。

中心高性能计算部技术支持与业务拓展业务室主任王珏副研究员

中心高性能计算部技术支持与业务拓展业务室主任王珏副研究员在报告《高性能计算与人工智能》中介绍了中心的GPU硬件资源情况和GPU相关研究成果，向与会的领导和专家展示了中心在人工智能的技术研发和规模化应用方面具有充足的软硬件资源、优秀的研究和管理团队，以及扎实的研究基础，可以有力的支持国家的人工智能战略，推动人工智能的快速发展，形成北京市乃至国家的新产业模式。

驭势科技(北京)有限公司首席执行官吴甘沙

驭势科技(北京)有限公司首席执行官吴甘沙做了题为《轻车熟路：基于嵌入式系统+高性能云的驾驶智能》的报告，介绍了人工智能在自动驾驶上的重要应用价值和巨大发展前景。他提到，智能驾驶的商业化需要“轻车熟路”。所谓“轻车”即嵌入式系统与算法的适配，“熟路”强调高性能云端的训练适应更多的数据，以及对大规模仿真+强化学习的支持。人工智能能解决目前交通与驾驶中存在的人贵、人缺和人错三个问题。他形象地用“新司机”、“认路司机”和“老司机”来比喻无人驾驶的能力提升与发展：“新司机”能利用摄像头、深度学习及激光雷达等技术还原驾驶场景；“认路司机”可以达到高精度惯导和定位；如果要达到开得又好又舒服的“老司机”标准，需要达到能判断道路形势，预测路况的能力。最后，吴甘沙说道，未来5—7年自动驾驶技术会进一步提升到“老司机”的水平。

地质与地球物理研究所刘洪研究员

地质与地球物理研究所刘洪研究员做了《油气勘探领域深度学习与GPU技术的应用》的报告。他从油气勘探实际出发，首先总结了大数据在地学中的应用问题难点，简单的神经网络不能代表最新的深度学习的技术能力，目前在深度学习规模上地学还是比较小的，只在识别断层方面运用了一些。从阿法狗和绝艺得到的启示是，挖掘深度学习潜力依赖于从深度和广度上扩大神经网络的规模。其实，油气领域很早就运用神经网络进行反演。深度学习与全波形反演有很多类似性，最后，刘洪提到，等效波动方法、快速多极方法加速全波形反演的计算，可以促进深度学习的应用。

科大讯飞北京研究院副院长付瑞吉剖析了人工智能的不同层面，即运算智能（储存会算），感知智能（能挺会说，能看会认），认知智能（能理解会思考），运动智能（能抓会握，能跑会走）。2014年8月，科大讯飞启动了“讯飞超脑”计划，研发基于类人神经网络的认知智能系统。目前，讯飞超脑在感知智能和认知智能方面取得了很多突破：在感知智能方面，语音识别已全面进入“读图谱时代”；在认知智能方面，基于Attention神经网络的篇章阅读系统能对作文进行自动评分，写评语并划出优美语句等等，俨然就是一个自动评卷系统。经测试，目前讯飞超脑语言理解能力已达到了六岁儿童水平，未来还会进一步提高。自然交互改变生活，智能学习颠覆行业。人工智能是当代最伟大的魔法师。

声学研究所所长助理颜永红

声学研究所所长助理颜永红做了题为《智能语音处理的现状和挑战》的报告，介绍了人工智能在语音识别领域发展和成功案例。他提到，语音识别每隔5-6年都会“火”一把，其实语音识别属于语言声学与内容理解学科，对它的研究是智能化的一个标志，由于语音沟通的直接性和语言的复杂性，机器言语识别是人机交互和人工智能的重要组成部分。目前，以语音为核心的人机交互的技术挑战主要有以下三点：更高的精度，更强的拒识和更复杂的拾音。最后，颜永红还和分享了一些有意思的事情，如：虚拟低音增强，移动终端耳机重放，三维音频双耳技术等等。

澎峰(北京)科技有限公司首席执行官张先轶

澎峰(北京)科技有限公司首席执行官张先轶的《嵌入式平台的深入学习以及Kaggle Data Science Bowl》报告从嵌入式深入学习的模型、框架、底层库和硬件等方面进行了阐述，并以美国国家癌症研究所数据集的肺癌的CT诊断为例，对Data Science Bowl的全过程进行了呈现。

曙光信息产业股份有限公司深度学习产品总监许涛

曙光信息产业股份有限公司深度学习产品总监许涛最后分享了《人工智能开启HPC新格局》的报告，指出GPU助力HPC计算能力快速增长，并强调HPC的应用魔咒在于应用短板，因此面向AI的深度学习是HPC全新应用领域。

廖方宇主任在大会总结中表示，本次人工智能与GPU研讨会开的很成功，与会代表作了精彩的报告并提出了宝贵意见和建议。同时，他指出要认真学习领会秦处长和仝处长的讲话指示，研究与北京市委和北京市基金委合作，在行业和产业方面推动北京市经济结构调整、并利用科学院的已有的成果，结合北京市的规划，寻求新的国家层面和应用层面的合作模式，将人工智能的新技术转移到企业，使得企业尤其是小企业可以享受到技术发展的红利。

最后，就人工智能与GPU的发展和产业化模式各位专家和代表踊跃发言，开展了积极、热烈的讨论，重点集中如何把相关技术链条、产业链条和人才链条打通，实现人工智能产业的“政产学研用”。

本次研讨会的圆满举行，为与会的领导和专家学者提供了良好的交流平台，极大地促进了中科院尤其是计算机网络信息中心与北京市以及产业链在人工智能和GPU领域的合作与交流，有助于我国人工智能研究进一步与世界先进水平接轨，同时有助于加快人工智能产业化步伐，形成新的产业模式和经济增长点。

深度学习GPU服务器是科学计算服务器的一种，科学计算服务器主要用于科学研究，是高性能计算机的一种，介于一般服务器与超级计算机之间。目前，科学计算服务器大约占整个服务器市场的5%左右，风虎云龙是目前所知国内专注于科学计算高性能服务器的厂商品牌，多年来一直紧跟科学发展，密切关注人工智能、机器学习、深度学习发展，结合科研发展需要研发生产高性能科学计算服务器，提供专业的售前、售中和售后服务，以及高性能计算集群的安装、调试、优化、培训、维护等技术支持和服务。

上海风虎信息作为深度学习服务器的专业厂商，专注为科研院所和高校师生打造高性能服务器，建议您选择深度学习服务器时需要注意以下几点：

1深度学习需要大量的并行计算资源，而且动辄计算几天甚至数周，而英伟达NVIDIA、英特尔Intel、AMD显卡（GPU)恰好适合这种工作，提供几十上百倍的加速，性能强劲的GPU能在几个小时内完成原本CPU需要数月完成的任务，所以目前深度学习乃至于机器学习领域已经全面转向GPU架构，使用GPU完成训练任务。

2如今即使使用GPU的深度学习服务器也要持续数天乃至数月（取决于数据规模和深度学习网络模型），需要使用单独的设备保障,保证训练任务能够小时长期稳定运行。

3独立的深度学习工作站（服务器）可以方便实现实验室计算资源共享，多用户可以在个人电脑编写程序，远程访问到深度学习服务器上排队使用计算资源，减少购买设备的开支并且避免了在本地计算机配置复杂的软件环境。

上海风虎信息专注于深度学习GPU服务器开发，根据TensorFlow，Pytorch，Caffe，Keras，Theano等软件计算特征，向您推荐入门级、中级、顶级GPU服务器典型配置，欢迎查阅，谢谢。

拥有高性能计算领域优秀的专业工程师团队，具有 10 年以上高性能计算 行业技术支持经验，提供专业的售前、售中和售后服务，以及高性能计算集群的安装、调 试、优化、培训、维护等技术支持和服务。在深度学习、量化计算、分子动力学、生物信 息学、雷达信号处理、地震数据处理、光学自适应、转码解码、医学成像、图像处理、密 码破解、数值分析、计算流体力学、计算机辅助设计等多个科研领域积累了深厚的技术功 底，和熟练的技术支持能力。提供 Caffe, TensorFlow, Abinit, Amber, Gromacs, Lammps, NAMD, VMD, Materials Studio, Wien2K, Gaussian, Vasp, CFX, OpenFOAM, Abaqus, Ansys, LS-DYNA, Maple, Matlab, Blast, FFTW, Nastran 等软件的安装、调 试、优化、培训、维护等技术支持和服务。

---