Kubernetes GPU 共享技术调研

资源隔离主要采用的是虚拟化的解决思路，目前NVIDIA有两种 GPU 虚拟化的解决方案：

目前社区的GPU调度方案：

1Nvidia 贡献的调度方案，只支持按较粗粒度的调度，按GPU块数调度。

Nvidia GPU Device Plugin

2阿里云服务团队贡献的 GPU 共享的调度方案，其目的在于解决用户共享 GPU 调度的需求Kubernetes GPU共享实践

gpushare-scheduler-extender

gpushare-device-plugin

由于资源隔离主要采用的是虚拟化技术，并且NVIDIA提供的两种GPU虚拟化解决方案都没有开源，GPU共享在资源隔离方面的实践资料相对较少，大多关注GPU资源的调度。

相关资料： Kubernetes的共享GPU集群调度

优点：

缺点：

前提条件：

实现思路：

依赖于Kubernetes的现有工作机制:

相关资料： AI 在 K8S 中的实践：云智天枢 AI 中台架构揭秘

实现思路：

相关资料： 基于 Kubernetes 的 GPU 类型调度实现

实现思路：

利用kubernetes现有的工作机制：

优点：

缺点：

1 通过CRD（CustomResourceDefinition）定义两种资源：ExtendedResource 和 ResourceClass

ExtendedResource 描述了一种扩展资源，比如 NVIDIA GPU；

ResourceClass 定义了容器选择哪种扩展资源，它的使用方式和 Kubernetes 中的 Extended Resource类似，用户可以直接在容器中指定，就像使用 CPU 和 Memory 一样。

2 利用 Scheduler 的扩展机制扩展Scheduler，负责调度容器中使用了ResourceClass资源对象的Pod

通过查询 ResourceClass 对象的定义过滤选择节点上的 ExtendedResource 资源，从而找到合适的节点并绑定，并将合适的 ExtendedResource 写到 Pod Annotation 中，供 Kubelet 组件使用。

3 利用Nvidia Device Plugin插件，扩展NVIDIA GPU资源，负责与kubelet组件通信以及创建和维护 ExtendedResource 资源对象

ExtendedResource 资源中包含着 GPU 的频率、显存等信息，当多个容器想使用同一块 GPU 时，我们可以定义一个 ResourceClass 资源对象，在 ResourceClass 中声明使用多少显存（这里共享的是显存）。这样，应用部署时，我们只要在容器中声明使用该 ResourceClass 资源即可，之后 Scheduler Extender 会过滤符合条件的 ExtendedResource 对象，绑定到合适的节点上。

如果要实现资源共享，我们可能需要在 ExtendedResource 中记录显存的用量情况，供调度参考。

相关资料： 在 Kubernetes 中使用 vGPU 实现机器学习任务共享 GPU

实现思路：

利用GPU厂家、虚拟化厂商等提供的GPU虚拟化技术，对GPU进行虚拟化，把完整的GPU进行分割。然后按照调度物理GPU一样在k8s中调度GPU。

优点：

缺点：

k8s官网对GPU调度的说明 提供了Nvidia GPU容器调度能力，但是只能将一个GPU卡分配给一个容器

从零开始入门 K8s：GPU 管理和 Device Plugin 工作机制

如何在Kubernetes实现GPU调度及共享

Kubernetes GPU使用指南

Kubernetes如何通过Device Plugins来使用NVIDIA GPU

你真的了解多个docker容器如何共享GPU么？

Kubeflow 使用 Kubernetes 进行机器学习

1GPU：计算机图显核心

11 GPU：计算机图形显示核心

GPU基本概念：图形处理器（graphics processing unit，缩写GPU），又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上做图像和图形相关运算工作的微处理器。

GPU是显卡的处理器：显卡全称显示适配卡，又称显示适配器，用于协助CPU进行图像处理，作用是将CPU送来的图像信号经过处理再输送到显示器上，由主板连接设备、监视器连接设备、处理器和内存组成，GPU即是显卡处理器。

12 GPU擅长大规模并发计算

GPU工作原理：GPU的工作通俗的来说就是完成3D图形的生成，将图形映射到相应的像素点上，对每个像素进行计算确定最终颜色并完成输出，一般分为顶点处理、光栅化计算、纹理贴图、像素处理、输出五个步骤。GPU采用流式并行计算模式，可对每个数据行独立的并行计算。

GPU与CPU区别：CPU基于低延时设计，由运算器（ALU）和控制器（CU），以及若干个寄存器和高速缓冲存储器组成，功能模块较多，擅长逻辑控制，串行运算。GPU基于大吞吐量设计，拥有更多的ALU用于数据处理，适合对密集数据进行并行处理，擅长大规模并发计算，因此GPU也被应用于AI训练等需要大规模并发计算场景。

13 GPU可分为独立GPU和集成GPU

独立GPU：独立GPU一般封装在独立的显卡电路板上，使用专用的显示存储器，独立显卡性能由GPU性能与显存带宽共同决定。一般来讲，独立GPU的性能更高，但因此系统功耗、发热量较大。

集成GPU：集成GPU常和CPU共用一个Die，共享系统内存。集成GPU的制作由CPU厂家完成，因此兼容性较强，并且功耗低、发热量小。但如果显卡运行需要占用大量内存，整个系统运行会受限，此外系统内存的频率通常比独立显卡的显存低很多，因此一般集成GPU的性能比独立GPU更低。

14 GPU广泛运用在图显和并行计算场景

GPU拥有单一的强大并行计算能力，所以用途往往是需要大规模并行计算的场景。早期GPU多被用于2D和3D图形的计算和处理，因为图形数据的处理往往涉及到大量的大型矩阵运算，计算量大但易于并行化。近年由于大数据、人工智能发展，GPU也常常被用于需要大量重复计算的数据挖掘领域，如机器学习，深度学习等。

GPU使用场景：GPU被广泛地运用于PC、服务器、移动等领域。其中服务器GPU可做专业图形处理、计算加速、深度学习等应用，以独立GPU为主；移动端GPU主要采用集成GPU；PC根据使用用途不同，既可以搭载独立GPU，也可以使用集成GPU。

15 全球GPU巨头：NVIDIA、AMD

NVIDIA（英伟达）：创立于1993年，1999年发明了GPU，最初专注PC图形，后来拓展到密集计算领域，Nvidia利用GPU创建了科学计算、人工智能、数据科学、自动驾驶汽车、机器人技术、AR和VR的平台。 Nvidia是目前全球最大的独立GPU供应商，2020年营收1668亿美元，2021Q2 Nvidia全球独立GPU市场份额达到83%。

AMD（超威半导体）：成立于1969年，目前业内稀缺的可以提供高性能CPU、高性能独立显卡GPU、主板芯片组三大组件的半导体公司。2020年AMD营收976亿美元，其中计算和图形（包括CPU、GPU、APU等）业务营收643亿美元，2021Q2 AMD全球独立GPU市场份额达到17%。

2GPU两大应用场景：图显、计算

21 2020全球GPU市场规模接近千亿美元

2020年全球GPU市场规模达到9991亿美元。3D图像显示、人工智能深度学习的需求支撑GPU市场持续增长，根据Verified Market Research数据，2020年全球GPU市场规模达到9991亿美元，预计2028年达到15816亿美元，CAGR为59%。

测算2020年中国大陆独立GPU市场规模约235亿美元。中国是全球GPU市场重要组成部分，2020年Nvidia、AMD在中国大陆收入占比分别为233%、239%，我们假设中国大陆独立GPU市场占全球235%，测算2020年中国大陆独立GPU市场规模约为235亿美元。

22 PC GPU：2020年全球出货394亿片

PC（个人电脑）是GPU重要应用场景，根据Jon Peddie Research（JPR）数据，2020年全球GPU出货394亿片，同比增长179%。

23 PC GPU：Nvidia和AMD占据独立GPU市场

Intel领导集成GPU市场。Intel（英特尔）是全球最大的CPU制造商，2021Q2占据全球775%的x86 CPU市场，集成GPU集成在CPU中，Intel凭借CPU市场地位，占据全球PC GPU大部分市场。根据JPR数据，2021Q2 Intel占据全球683%的PC GPU市场份额，Nvidia和AMD市场份额分别为152%、165%。

Nvidia和AMD占据独立GPU市场。在独立GPU领域，Nvidia具备明显的份额领先，2021Q2市占率达到83%。2006年AMD收购ATI，2010年放弃ATI品牌后推出AMD Radeon（镭龙）独立显卡系列，2021Q2 AMD独立PC GPU市场份额17%。

24 AI服务器与加速芯片

AI服务器：通常搭载GPU、FPGA、ASIC等加速芯片，利用CPU与加速芯片的组合可以满足高吞吐量互联的需求，为自然语言处理、计算机视觉、机器学习等AI应用场景提供强大的算力支持，支撑AI算法训练和推理过程。

AI加速芯片：由于CPU并不适合大规模并行计算，因此需要加速芯片执行AI算法，目前AI加速芯片主要包括图形处理器（graphics processing unit，GPU）、现场可编程门阵列（field-programmable gate array，FPGA）、专用集成电路（application specific integrated circuits，ASIC）、神经拟态芯片等。

25 GPU是AI服务器首选加速方案

服务器是AI核心基础设施。根据IDC数据，2020年中国AI基础设施市场规模为393亿美元，同比增长268%，并将在2024年达到780亿美元，其中2020年服务器市场规模占AI基础设施的87%以上，承担着最为重要的角色。

互联网行业是AI服务器最大采购行业。根据IDC数据，2020年上半年，互联网占整体加速计算服务器市场近60%的份额，同比增持超过100%；政府行业和服务业分别依次位居第二位和第三位。

GPU服务器是AI加速方案首选。IDC预计2021年中国GPU服务器占比919%左右的市场份额，是数据中心AI加速方案首选。根据IDC数据，2019年中国GPU服务器市场规模达到20亿美元，预计2024年将达到64亿美元。

26 AI服务器通常配置多个GPU芯片

GPU加速服务器能够提供优秀的浮点计算能力，从容应对高实时、高并发的海量计算场景，例如深度学习、科学计算、3D动画渲染、CAE等应用场景。

3NVIDIA：全球GPU巨头

31 全球GPU巨头

Nvidia成立于1993年，1999年上市，市值近10年增长超过83倍，近6年增长超过49倍。截至2021年11月5日，Nvidia总市值7438亿美元，总市值美股排名第七，是目前全球市值最大的半导体公司。（报告来源：未来智库）

32 三大因素推动地位提升

技术革新、场景拓展、外延并购，Nvidia引领全球GPU发展。

GPU架构：Nvidia坚持每2-3年推出一代新的GPU架构，持续保持技术领先，新的Ampere已经采用7nm工艺；应用场景：从最初图形处理到通用计算，再到AI深度学习和自动驾驶，Nvidia不断推动GPU应用场景的突破；外延并购：2000-2008年Nvidia密集收购额多家公司，涵盖显卡、图形处理、半导体等多个领域，2020年宣布计划收购ARM。

33 近年业绩高速增长

Nvidia产品主要分为两大类：图形处理、计算&网络。下游市场包括游戏、专业可视化、数据中心、汽车四大类。

2020年Nvidia营收1668亿美元（yoy+527%），净利润433亿美元（yoy+549%），其中图形处理业务营收983亿美元，计算&网络业务营收684亿美元。除去2019年游戏市场需求波动造成业绩下滑外，Nvidia近5年营收、利润均保持较快增长。

得益于基于Ampere架构新GPU产品带动游戏业务高增，以及数据中心对算力需求旺盛，2021上半年Nvidia营收、净利润快速增长。

34 游戏是最大市场，数据中心市场增速较快

Nvidia下游市场分为四类：游戏、专业可视化、数据中心、汽车，各市场重点产品如下：

游戏：GeForce RTX/GTX系列GPU（PCs）、GeForce NOW（云游戏）、SHIELD（游戏主机）；专业可视化：Quadro/RTX GPU（企业工作站）；数据中心：基于GPU的计算平台和系统，包括DGX（AI服务器）、HGX（超算）、EGX（边缘计算）、AGX（自动设备）；汽车：NVIDIA DRIVE计算平台，包括AGX Xavier（SoC芯片）、DRIVE AV（自动驾驶）、DRIVE IX（驾驶舱软件）、Constellation（仿真软件）。

35 计算业务驱动高成长

计算业务是Nvidia成长的主要驱动力：数据中心已成规模，智能汽车将进入收获期。

在数据中心市场，Nvidia拥有芯片、硬件、硬件的全栈布局。得益于全球AI应用场景的快速增加，对算力的需求飙升。是Nvidia成长最快的市场，2020年营收达到约6696亿美元，近4年CAGR达到685%，远高于游戏市场的176%。2020年Nvidia数据中心市场营收占比已经超过40%，预计未来仍将继续提升。

在智能汽车市场， Nvidia形成了全栈式自动驾驶解决方案。AGX Xavier芯片于2018年开始出货，下一代自动驾驶芯片Orin计划用于2022年量产，算力将达到254TOPS，目前已经获得蔚来、理想、沃尔沃、奔驰等多个整车厂定点项目。我们认为2022年高阶自动驾驶汽车或将集中落地，Nvidia自动驾驶将进入收获期。

36 中国大陆收入贡献提升

Nvidia中国大陆收入快速增长。2020年Nvidia来自中国大陆收入3886亿美元，同比增长423%，近4年CAGR达到314%，同期Nvidia整体营收CAGR为246%。

Nvidia中国大陆收入占比呈上升趋势。2020年Nvidia中国大陆收入占比达到233%，相比于2016年的189%提升44pct，2021上半年Nvidia中国大陆收入占比256%，上升趋势明显。

我们预计中国大陆占比仍将提升。图显业务层面，人均收入提升将带动PC需求增加；计算业务层面，目前中国大陆在AI算法、应用层面具有领先优势，自动驾驶场景也将率先得到释放。

4景嘉微：国产GPU领军

41 国内唯一商用GPU公司

景嘉微成立于2006年，公司主营业务分为图形显控、小型专用化雷达、GPU芯片三类。其中图显、雷达产品主要面向军用市场，GPU芯片产品包括JM5400、JM7200，其中JM5400主要应用于公司图显模块中，JM7200成功拓展了民用和信创市场。2021年9月，公司第三代GPU芯片JM9成功流片，目前正在进行性能测试。

42 两个系列、三款GPU量产应用

景嘉微已完成两个系列、三款GPU芯片量产应用。第一代GPU产品JM5400于2014年流片成功，主要支撑军用装备，已在国产军用飞机上实现了对ATI M9、M54、M72等芯片的替代；第二代产品JM7200于2018年8月流片成功，性能与 Nvidia的GT640显卡相近。在JM7200基础上，公司又推出

是的，在使用多进程使用单张T4进行推理时，可以使用MPS（Multi-Process Service）来提升T4的利用率和latency性能。

MPS是一种用于多个进程共享同一张图形处理器（GPU）的服务，可以提升多进程推理的效率。当多个进程同时使用MPS时，可以充分利用GPU的资源，从而提升推理性能。

但是，使用MPS进行多进程推理也有一些注意事项。例如，需要确保多个进程之间的数据交换尽可能少，以减少数据传输带来的开销。此外，还需要注意MPS服务的创建和管理，以避免出现冲突或资源竞争。

大多数的小伙伴肯定都在任务管理器中查看过共享内存的数值，但是却不知道他们之间的区别是什么，今天给为大家带来了详细的区别介绍，一起看看吧。

win10gpu共享内存：

答：简单点说，专有内存就是GPU自己用的，不会分给其它应用，而共享内存就是所有应用都可以使用，但是GPU优先使用。

专有GPU内存：

专有GPU的内存一般默认分成两种：独显内存和集显内存。

独显内存的意思是单独一个的GPU

PCIe卡，它有着独立的GDDR内存，

而专有的GPU内存就是指在这个GPU显卡上面自己包含的内存，它只可以被GPU使用，而且带宽很高，延迟非常的小。

集显相比较之下就比较复杂，但是在这里不包括AMD GPU集成进Intel

CPU这种另类CPU，以Intel集显为例。

这上面的专有GPU内存是指BIOS在系统内存上顶替了专门给集显GPU使用的系统内存。

换句话说，其实就是BIOS将一部分的内存在初始化之后保存了下来并且给GPU用，称为“Stolen

Memory”。

大小一般在16M到1024M不等，不同时代的集显可以支持的保留内存都是不相同的，举例HD4000，

它支持的最大显存为256M，并不是想要多大就有多大。

共享GPU内存：

这里的内存指的是从系统内存中提出来的，优先让GPU使用。

假如32G内存，而共享内存有16G，有两个GPU，实际上系统内存并没有全部占用，16G是两个GPU一起使用的，而不是每个都有16G。

共享内存不仅仅是多GPU共享，而且还是GPU和的其他应用一起共享，只不过GPU优先级高些罢了。

而且Windows也尽量会使用专有的GPU内存，而共享的GPU内存完全可以在其它应用大量使用内存后归他们使用。

而且这个值无法设置，需要由Windows根据系统内存大小自行设定。

内存的带宽和时延受到PCIe的限制，比专有的内存低，这是Windows会有限使用专有GPU内存的重要原因之一。

还有其他问题的小伙伴可以看看win10gpu使用常见问题大全了解更多有关win10gpu使用的问题~

以上就是本站为您带来的win10gpu共享内存区别介绍，想了解更多的问题请收藏本站哟。欢迎您的查看。

以上就是关于Kubernetes GPU 共享技术调研全部的内容，包括:Kubernetes GPU 共享技术调研、pytorch共享gpu和专用gpu有什么区别、多进程使用单张T4推理时，是否可以用MPS提升T4利用率和latency性能等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！