计算机网络之RDMA技术（十三）InfiniBand编址

姓名：周肇星；学号：22011110028；学院：通信工程学院

嵌牛导读RDMA技术全称远程直接数据存取，就是为了解决网络传输中服务器端数据处理的延迟而产生的。RDMA通过网络把资料直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中，而不对 *** 作系统造成任何影响，这样就不需要用到多少计算机的处理功能。它消除了外部存储器复制和上下文切换的开销，因而能解放内存带宽和CPU周期用于改进应用系统性能。本专题将针对RDMA技术进行介绍！

嵌牛鼻子计算机网络，高性能网络，RDMA

嵌牛提问读完本文，对RDMA技术的InfiniBand编址有所认识了吗？

嵌牛正文

IBA规定在子网内和子网间传输数据时会用到不同的地址标识符，所以每个端口的地址分为两种：本地标识符LID（Local Identifier）和全球路由标识符GID（Global Identifier）

每个端点节点包含一个或多个通道适配器，每个通道适配器包含一个或多个端口，==每个端口包含一个LID和GID==

LID在子网中是唯一的，每个端口的LID都由本地子网管理器分配，交换机使用LID在子网内路由数据包

LID由Base LID和Path Bits组成：Base LID是关于一个端口地址的最低位，Path Bits是LID的一部分，用来在子网内传递时改变不同的路径到达目的端口。如果Path Bits的值为0，那么LID就等于Base LID

Path Bits的值是由SM通过设置==LMC（LID Mask Control）==的值来控制的，由3个bit组成，其取值范围是0-7。在拓扑发现阶段，子网管理器决定接收数据端口的路径数目，并且通过设置Path bits的位数来分配LID的16位地址空间来为每一个端口分配 ==2^LMC 个LID==，因此每一个端口的最大LID数目可为2^8

假设，A端口的LID为4、LMC为2，则交换机把它看成4个LID{4,5,6,7}；B端口的LID为8、LMC为2，则LID为{8,9,10,11}；则A发往B将存在4条路径

每一个节点和它的节点端口都会被分配一个==GUID（Global Unique Identifier）标识符==

==GID==是全局唯一的。每个数据包可选地包含一个全局路由报头（GRH），报头指定一个SGID（源GID）以及一个DGID（目的GID），==路由器使用GRH在子网之间路由数据包、交换机忽略GRH==

每个通道适配器包含许多队列对（QP），每个QP都有由通道适配器分配的队列对号（QPN），该队列对号（QPN）唯一地标识信道适配器中的QP

单播 GID 范围定义为：

Link local ：在本地子网中使用默认GID前缀的单播GID，Routers不得转发任何具有本地链路GID或目标GID的数据包到本地子网之外

Site local ：在子网集合中使用的单播GID，在该集合中是唯一的（例如数据中心或园区），但不一定是全局唯一的。路由器不得将任何具有site-local 源GID（SGID）或site-local目标GID（DGID）的数据包转发到站点之外

Global ：全局

NVSwitch是一种高速互连技术，可以在多个GPU之间实现高速数据传输。要在跨服务器之间使用NVSwitch，需要满足以下要求：

服务器需要安装支持NVSwitch技术的GPU卡，例如NVIDIA Tesla V100或A100。

服务器需要使用支持NVSwitch的技术，例如InfiniBand或以太网等进行物理互连。

服务器需要安装支持NVSwitch的驱动程序和软件包，例如CUDA和NCCL等。

具体而言，您可以使用以下步骤在跨服务器之间使用NVswitch：

使用支持NVSwitch的技术将多个服务器物理互连。

在服务器上安装和配置支持NVSwitch的驱动程序和软件包。

在不同的服务器上启动各自的GPU卡。

调用支持NVSwitch的CUDA函数和NCCL函数，以实现在跨服务器之间传输数据。

需要注意的是，使用NVSwitch进行跨服务器之间的GPU交互需要高带宽、低延迟互连技术，并且需要对网络拓扑进行调整。例如将GPU密集的任务聚集在具有高速InfiniBand网络的服务器上，以最大化NVSwitch的性能。

redhat版本不同ntp的版本可能也会有所变化，在安装之前需要查找ntp服务，看下是否存在：yum search ntp2查找到ntpx86_64，使用yum进行安装。安装时x64_64可以不输入。yum install -y ntp-y：不提示，直接安装3进入ntp配置目录：vi /etc/ntpconf4进入ntpconf配置文件，注释以server开头的配置，并添加内容：server 12712711添加完成保存退出。5重启ntp服务器，并查看状态是否running。systemctl restart ntpdservice #重启服务systemctl status ntpdservice #查看状态6查看ntp服务是否能够被同步，显示为“LOCAL”，表示成功。如果没有任何显示，客户端将无法同步。END步骤2(Client):1服务器已经配置完成，现在是Client配置，测试Client能否与Server相连。2在Clientt上使用ntpdate来同步：ntpdate 1921681162同步后反馈是是成功同步的。END注意事项时间上不能相差过远

”相关问题，库巴帮助小助手为您解答。 华硕DSBF-DE/SAS服务器主板支持英特尔双核至强5000/5100系列和英特尔四核至强5300/5400系列处理器，用户可根据自身需求进行选用。由于采用了英特尔5000P MCH和6321ESB ICH芯片组，该主板具有更高的前端总线(1066/1333)和更大的处理器缓存，最高可提供8线程32位及64位处理能力。此外，由于Clovertown平台得到了英特尔 5000P芯片组的认证，支持全缓冲DIMM(FB-DIMM)技术。 存储方面，华硕DSBF-DE/SAS提供了8条240-pin FB-DIMM插槽，可支持Registered ECC全缓冲DDR2-533/DDR-667内存模组;最高可扩充至32GB容量，满足高负荷应用程序的内存需求，有助于消除系统性能瓶颈。此外，该款主板可配置为四通道模式，理论上最高可提供21GB/s的内存带宽，而内存冗余和内存镜像技术的应用，进一步确保整个平台的可靠性和稳定性。 华硕DSBF-DE/SAS利用6321ESB整合的SATA控制器提供了6组SATA II接口，该主板通过Intel Matrix Storage技术实现RAID 0, 1, 10 & 5。值得关注的是，华硕DSBF-DE/SAS还整合了LSI 1068 PCI-X 8-port SAS控制器，使其提供了8组SAS接口，支持SAS RAID 0，1，1E模式。 扩展方面，华硕DSBF-DE/SAS配备了1条PCI Express x16插槽(x8 Link)和3条PCI Express x8插槽(其中一条为x4 Link)，可以支持磁盘阵列卡、1Gb以太网卡，InfiniBand通信接口卡和光纤卡等;其内置的2条PCI-X 133/100MHz插槽中，其中一条可支持零通道RAID卡。此外，该主板主板提供了1个PS/2键盘接口、1个PS/2鼠标接口、2个USB 20、1个串口、1个VGA接口、2个千兆网卡接口(RJ45)，满足用户的不同使用要求。 网络连接上，华硕DSBF-DE/SAS由于板载了Intel 82563EB双端口PHY芯片，在6321ESB所整合的双千兆网卡控制器的配合下，支持双千兆网卡，大大降低了用户配置成本。而Intel I/O加速技术、组合(Teaming)与故障转移(Failover)功能的支持，使服务器连接更灵活、更可靠。 通过在芯片组平台、FBD内存、四核处理器和强大的SAS存储等方面的全面提升，华硕DSBF-DE/SAS以更高的处理计算能力、更强的可用性以及高性价比受到市场的宠爱是当之无愧的。 (答案编辑：小马)

*** 作系统层面将这几块网卡做bond绑定，可以实现更快的速度。
Windows2012可以直接用 *** 作系统的“NIC组合功能”，低版本Windows有服务器厂商的程序做这个；Linux的话就修改ifcfg-bond0文件。绑定后带宽就可以相应增加了，我们做4网卡绑定后，基本可以拍到3倍多的速度。
服务器之间传输速度的影响因素太多了：接口瓶颈、传输协议、网络时延、网线质量等等很多。
比万兆网卡快的还有InfiniBand、16Gb/s FC等。
而且呢，如果你进行大量数据分发，还是把数据存在存储上比较好。

RDMA实际上是一种智能网卡与软件架构充分优化的远端内存直接高速访问技术，通过将RDMA协议固化于硬件(即网卡)上，以及支持Zero-copy和Kernel bypass这两种途径来达到其高性能的远程直接数据存取的目标。

目前支持RDMA的网卡并不普及，购买网卡时需要跟供应商咨询清楚是否支持此项功能

另外，目前RDMA的硬件实现有3种（如下），也要跟供应商咨询清楚

目前支持RDMA的网络协议有：

InfiniBand(IB): 从一开始就支持RDMA的新一代网络协议。由于这是一种新的网络技术，因此需要支持该技术的网卡和交换机。

RDMA过融合以太网(RoCE): 即RDMA over Ethernet, 允许通过以太网执行RDMA的网络协议。这允许在标准以太网基础架构(交换机)上使用RDMA，只不过网卡必须是支持RoCE的特殊的NIC。

互联网广域RDMA协议(iWARP): 即RDMA over TCP, 允许通过TCP执行RDMA的网络协议。这允许在标准以太网基础架构(交换机)上使用RDMA，只不过网卡要求是支持iWARP(如果使用CPU offload的话)的NIC。否则，所有iWARP栈都可以在软件中实现，但是失去了大部分的RDMA性能优势。

这个功能比较新，我也只是了解了个大概，具体的还是要实践，只能帮你到这里了。

---