计算机网络之RDMA技术（十二）InfiniBand简介

姓名：周肇星；学号：22011110028；学院：通信工程学院

嵌牛导读RDMA技术全称远程直接数据存取，就是为了解决网络传输中服务器端数据处理的延迟而产生的。RDMA通过网络把资料直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中，而不对 *** 作系统造成任何影响，这样就不需要用到多少计算机的处理功能。它消除了外部存储器复制和上下文切换的开销，因而能解放内存带宽和CPU周期用于改进应用系统性能。本专题将针对RDMA技术进行介绍！

嵌牛鼻子计算机网络，高性能网络，RDMA

嵌牛提问读完本文，对RDMA技术的InfiniBand有所认识了吗？

嵌牛正文

InfiniBand架构是一种支持多并发链接的“转换线缆”技术，它是新一代服务器硬件平台的I/O标准。由于它具有高带宽、低延时、 高可扩展性的特点，它非常适用于服务器与服务器（比如复制，分布式工作等）、服务器和存储设备（比如SAN和直接存储附件）以及服务器和网络之间（比如LAN， WANs和the Internet）的通信

随着CPU性能的飞速发展，I/O系统的性能成为制约服务器性能的瓶颈。于是人们开始重新审视使用了十几年的PCI总线架构。虽然PCI总线结构把数据的传输从8位/16位一举提升到32位，甚至当前的64位，但是它的一些先天劣势限制了其继续发展的势头，PCI总线有如下缺陷：

因此，Intel、 Cisco、 Compaq、 EMC、 富士通等公司共同发起了InfiniBand架构，其目的是为了取代PCI成为系统互连的新技术标准，其核心就是将I/O系统从服务器主机中分离出来

== InfiniBand采用双队列程序提取技术，使应用程序直接将数据从适配器送入到应用内存 ==（称为RDMA或远程直接存储器存取）, 反之依然。在TCP/IP协议中，来自网卡的数据先拷贝到核心内存，然后再拷贝到应用存储空间，或从应用空间将数据拷贝到核心内存，再经由网卡发送到Internet。这种I/O *** 作方式，始终需要经过核心内存的转换，它不仅增加了数据流传输路径的长度，而且大大降低了I/O的访问速度、增加了CPU的负担。而SDP则是将来自网卡的数据直接拷贝到用户的应用空间，从而避免了核心内存参入。这种方式就称为零拷贝，它可以在进行大量数据处理时，达到该协议所能达到的最大的吞吐量

物理层 定义了在线路上如何将比特信号组成符号,然后再组成帧、 数据符号以及包之间的数据填充等，详细说明了构建有效包的信令协议等

链路层 定义了数据包的格式以及数据包 *** 作的协议，如流控、 路由选择、编码、解码等

网络层 通过在数据包上添加一个40字节的全局的路由报头（Global Route Header，GRH）来进行路由的选择，对数据进行转发。在转发的过程中，路由器仅仅进行可变的CRC校验，这样就保证了端到端的数据传输的完整性

传输层 再将数据包传送到某个指定的队列偶（Queue Pair，QP）中，并指示QP如何处理该数据包以及当信息的数据净核部分大于通道的最大传输单元MTU时，对数据进行分段和重组

注意HCA与TCA的区别

== IBA子网由端节点、交换机、路由器和子网管理器组成 ==

每个端口具有一个GUID（Globally Unique Identifier），GUID是全局唯一的，类似于以太网MAC地址

运行过程中，子网管理代理（SMA）会给端口分配一个本地标识（LID），LID仅在子网内部有用

通道适配器提供了一种内存转换和保护（Memory Translation & Protection，MTP）机制，它将虚拟地址转换为物理地址，并验证访问权限

== 交换机根据目的地LID进行转发 ==

IBA交换机支持单播转发，并可能支持多播转发

子网管理器能够配置交换机，包括加载其转发表

== 基于数据包的全局路由头（GRH）进行路由 ==，并在数据包从子网传递到子网时替换数据包的本地路由头

每个子网由一个唯一的子网标识符，与端口的GUID捆绑在一起构成端口的== GID（Global Identifier） ==

虚拟通道（Virtual lanes，VL）提供了一种在单条物理链路中创建多个虚拟链接的机制

QP是硬件和软件之间的一个虚拟接口，架构的设定是为每个适配器提供2^24个QP

用户调用API发送接收数据的时候，实际上是将数据放入QP当中，然后==以轮询的方式将QP中的请求一条条的处理，其模式类似于生产者-消费者模式==

QP是队列结构，按顺序存储着软件给硬件下发的任务（WQE）

WQE中包含从哪里取出多长的数据，并且发送给哪个目的地等等信息

虽然IB协议将QP称为虚拟接口，但是它是有实体的：

什么是服务器
服务器是计算机的一种，它是网络上一种为客户端计算机提供各种服务的高性能的计算机，它在网络 *** 作系统的控制下，将与其相连的硬盘、磁带、打印机、Modem及各种专用通讯设备提供给网络上的客户站点共享，也能为网络用户提供集中计算、信息发表及数据管理等服务。它的高性能主要体现在高速度的运算能力、长时间的可靠运行、强大的外部数据吞吐能力等方面。
目前，按照体系架构来区分，服务器主要分为两类：ISC（精简指令集）架构服务器：这是使用RISC芯片并且主要采用UNIX *** 作系统的服务器，如Sun公司的SPARC、HP公司的PA－RISC、DEC的Alpha芯片、SGI公司的MIPS等。
IA架构服务器：又称CISC（复杂指令集）架构服务器，即通常所讲的PC服务器，它是基于PC机体系结构，使用Intel或与其兼容的处理器芯片的服务器，如联想的万全系列、HP的Netserver系列服务器等。
从当前的网络发展状况看，以“小、巧、稳”为特点的IA架构的PC服务器得到了更为广泛的应用。
服务器是一种高性能计算机，作为网络的节点，存储、处理网络上80％的数据、信息，因此也被称为网络的灵魂。做一个形象的比喻：服务器就像是邮局的交换机，而微机、笔记本、PDA、手机等固定或移动的网络终端，就如散落在家庭、各种办公场所、公共场所等处的电话机。我们与外界日常的生活、工作中的电话交流、沟通，必须经过交换机，才能到达目标电话；同样如此，网络终端设备如家庭、企业中的微机上网，获取资讯，与外界沟通、娱乐等，也必须经过服务器，因此也可以说是服务器在“组织”和“领导”这些设备。
服务器的构成与微机基本相似，有处理器、硬盘、内存、系统总线等，它们是针对具体的网络应用特别制定的，因而服务器与微机在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面存在差异很大。尤其是随着信息技术的进步，网络的作用越来越明显，对自己信息系统的数据处理能力、安全性等的要求也越来越高，如果您在进行电子商务的过程中被黑客窃走密码、损失关键商业数据；如果您在自动取款机上不能正常的存取，您应该考虑在这些设备系统的幕后指挥者————服务器，而不是埋怨工作人员的素质和其他客观条件的限制。
服务器技术之EMP技术
目前服务器的技术热点主要有:IRISC与CISC技术、处理器技术、多处理器技术（AMP技术、SMP技术、MPP技术、COMA技术、集群技术和NUMA技术）、SCSI接口技术、智能I/O技术、容错技术、磁盘阵列技术、热插拔技术、双机热备份。
服务器在网络中承担传输和处理大量数据的任务，要具备高可伸缩性、高可靠性、高可用性和高可管理性。IA－64体系将带动服务器技术特性的提高，如高性能CPU、多处理器技术、总线和内存技术、容错技术、群集技术、硬件管理接口、均衡服务器平台技术等。
EMP（Emergency Management Port）技术
EMP（Emergency Management Port）技术也是一种远程管理技术，利用EMP技术可以在客户端通过电话线或电缆直接连接到服务器，来对服务器实施异地 *** 作，如关闭 *** 作系统、启动电源、关闭电源、捕捉服务器屏幕、配置服务器BIOS等 *** 作，是一种很好的实现快速服务和节省维护费用的技术手段。 应用ISC和EMP两种技术可以实现对服务器进行远程监控管理。
服务器技术之RAID冗余磁盘阵列技术
目前服务器的技术热点主要有:IRISC与CISC技术、处理器技术、多处理器技术（AMP技术、SMP技术、MPP技术、COMA技术、集群技术和NUMA技术）、SCSI接口技术、智能I/O技术、容错技术、磁盘阵列技术、热插拔技术、双机热备份。
服务器在网络中承担传输和处理大量数据的任务，要具备高可伸缩性、高可靠性、高可用性和高可管理性。IA－64体系将带动服务器技术特性的提高，如高性能CPU、多处理器技术、总线和内存技术、容错技术、群集技术、硬件管理接口、均衡服务器平台技术等。
RAID(Redundant Array of Independent Disks)冗余磁盘阵列技术
RAID技术是一种工业标准，各厂商对RAID级别的定义也不尽相同。目前对RAID级别的定义可以获得业界广泛认同的有4种，RAID 0、RAID 1、RAID 0＋1和RAID 5。
RAID 0是无数据冗余的存储空间条带化，具有成本低、读写性能极高、存储空间利用率高等特点，适用于Video/Audio信号存储、临时文件的转储等对速度要求极其严格的特殊应用。但由于没有数据冗余，其安全性大大降低，构成阵列的任何一块硬盘的损坏都将带来灾难性的数据损失。所以，若在RAID 0中配置4块以上的硬盘，对于一般应用来说是不明智的。
RAID 1是两块硬盘数据完全镜像，安全性好，技术简单，管理方便，读写性能均好。但它无法扩展（单块硬盘容量），数据空间浪费大，严格意义上说，不应称之为"阵列"。
RAID 0＋1综合了RAID 0和RAID 1的特点，独立磁盘配置成RAID 0，两套完整的RAID 0互相镜像。它的读写性能出色，安全性高，但构建阵列的成本投入大，数据空间利用率低，不能称之为经济高效的方案。
负载均衡技术概览
当前，无论在企业网、园区网还是在广域网如Internet上，业务量的发展都超出了过去最乐观的估计，上网热潮风起云涌，新的应用层出不穷，即使按照当时最优配置建设的网络，也很快会感到吃不消。尤其是各个网络的核心部分，其数据流量和计算强度之大，使得单一设备根本无法承担，而如何在完成同样功能的多个网络设备之间实现合理的业务量分配，使之不致于出现一台设备过忙、而别的设备却未充分发挥处理能力的情况，就成了一个问题，负载均衡机制也因此应运而生。
负载均衡建立在现有网络结构之上，它提供了一种廉价有效的方法扩展服务器带宽和增加吞吐量，加强网络数据处理能力，提高网络的灵活性和可用性。它主要完成以下任务：解决网络拥塞问题，服务就近提供，实现地理位置无关性 ；为用户提供更好的访问质量；提高服务器响应速度；提高服务器及其他资源的利用效率；避免了网络关键部位出现单点失效。
对一个网络的负载均衡应用，可以从网络的不同层次入手，具体情况要看对网络瓶颈所在之处的具体分析，大体上不外乎从传输链路聚合、采用更高层网络交换技术和设置服务器集群策略三个角度实现。
■传输链路聚合
为了支持与日俱增的高带宽应用，越来越多的PC机使用更加快速的链路连入网络。而网络中的业务量分布是不平衡的，核心高、边缘低，关键部门高、一般部门低。伴随计算机处理能力的大幅度提高，人们对多工作组局域网的处理能力有了更高的要求。当企业内部对高带宽应用需求不断增大时（例如Web访问、文档传输及内部网连接），局域网核心部位的数据接口将产生瓶颈问题，瓶颈延长了客户应用请求的响应时间。并且局域网具有分散特性，网络本身并没有针对服务器的保护措施，一个无意的动作（像一脚踢掉网线的插头）就会让服务器与网络断开。
通常，解决瓶颈问题采用的对策是提高服务器链路的容量，使其超出目前的需求。例如可以由快速以太网升级到千兆以太网。对于大型企业来说，采用升级技术是一种长远的、有前景的解决方案。然而对于许多企业，当需求还没有大到非得花费大量的金钱和时间进行升级时，使用升级技术就显得大材小用了。在这种情况下，链路聚合技术为消除传输链路上的瓶颈与不安全因素提供了成本低廉的解决方案，
链路聚合技术，将多个线路的传输容量融合成一个单一的逻辑连接。当原有的线路满足不了需求，而单一线路的升级又太昂贵或难以实现时，就要采用多线路的解决方案了。目前有4种链路聚合技术可以将多条线路“捆绑”起来。同步IMUX系统工作在T1/E1的比特层，利用多个同步的DS1信道传输数据，来实现负载均衡。IMA是另外一种多线路的反向多路复用技术，工作在信元级，能够运行在使用ATM路由器的平台上。用路由器来实现多线路是一种流行的链路聚合技术，路由器可以根据已知的目的地址的缓冲（cache）大小，将分组分配给各个平行的链路，也可以采用循环分配的方法来向线路分发分组。多重链路PPP，又称MP或MLP，是应用于使用PPP封装数据链路的路由器负载平衡技术。MP可以将大的PPP数据包分解成小的数据段，再将其分发给平行的多个线路，还可以根据当前的链路利用率来动态地分配拨号线路。这样做尽管速度很慢，因为数据包分段和附加的缓冲都增加时延，但可以在低速的线路上运行得很好。
链路聚合系统增加了网络的复杂性，但也提高了网络的可靠性，使人们可以在服务器等关键LAN段的线路上采用冗余路由。对于IP系统，可以考虑采用VRRP（虚拟路由冗余协议）。VRRP可以生成一个虚拟缺省的网关地址，当主路由器无法接通时，备用路由器就会采用这个地址，使LAN通信得以继续。总之，当主要线路的性能必需提高而单条线路的升级又不可行时，可以采用链路聚合技术。
更高层交换
大型的网络一般都是由大量专用技术设备组成的，如包括防火墙、路由器、第2层/3层交换机、负载均衡设备、缓冲服务器和Web服务器等。如何将这些技术设备有机地组合在一起，是一个直接影响到网络性能的关键性问题。现在许多交换机提供第四层交换功能，可以将一个外部IP地址映射为多个内部IP地址，对每次TCP连接请求动态使用其中一个内部地址，达到负载均衡的目的。有的协议内部支持与负载均衡相关的功能，例如>

物联网是新一代信息技术的重要组成部分，也是“信息化”时代的重要发展阶段。其英文名称是：“Internetofthings（IoT）”。顾名思义，物联网就是物物相连的互联网。这有两层意思：其一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；其二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信，也就是物物相息。物联网通过智能感知、识别技术与普适计算等通信感知技术，广泛应用于网络的融合中，也因此被称为继计算机、互联网之后世界信息产业发展的第三次浪潮。物联网是互联网的应用拓展，与其说物联网是网络，不如说物联网是业务和应用。因此，应用创新是物联网发展的核心，以用户体验为核心的创新20是物联网发展的灵魂。

活点定义：利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物、物与物相联，实现信息化、远程管理控制和智能化的网络。物联网是互联网的延伸，它包括互联网及互联网上所有的资源，兼容互联网所有的应用，但物联网中所有的元素（所有的设备、资源及通信等）都是个性化和私有化。

---