万兆以太网挺进数据中心|万兆以太网网卡

依靠自身优异的性能与低廉的端口成本，万兆以太网被越来越多的数据中心采用，为虚拟化、网络存储等各种技术和应用提供更为可靠而宽松的网络环境。 当前，越来越多的数据中心希望能够高效处理并有效管理日益增加的带宽消耗型应用，为此相关厂商正致力于研发多项技术，如多核服务器、虚拟化、高密度计算以及网络存储技术等。这些新兴技术对输入/输出（I/O）性能提出了更高的需求，而这些需求正是万兆以太网不断进步的动力源泉。
首项万兆以太网（10GbE）标准颁布于2002 年，但是当时10GbE 应用的增长还只集中在那些需要最高可用带宽的细分市场中。直到2006年面向万兆以太网的10GBase-T标准的确立，才推动了6类线或更好的铜缆双绞线连接方式的普及，同时，由于万兆以太网交换机、服务器网卡以及相关基础设施产品的推广应用，万兆以太网性能的魅力进一步彰显。
实际上，带宽和I/O吞吐量固然是当今数据中心连接需求的重要方面，但除此之外，现在的网络连接产品，无论是千兆还是万兆以太网，还必须对新一代数据中心的应用提供足够的支持，包括:
●为多核服务器提供高性能、低时延、低CPU占用率的高带宽连接;
●支持多个虚拟机（VM）的 I/O 仲裁需求;
●为刀片式服务器与高密度计算提供低成本、高能效及高性能连接;
●配合SCSI以支持以太网的存储应用。

支持多核平台

利用基于多核处理器的服务器产品，数据中心可在不增加空间与散热成本的同时，有效提升计算能力。用多核服务器取代较老的单核产品，可在不增加硬件占地空间的情况下将计算能力提升3至5倍。同时，由于应用被整合到性能更高、数量更少的服务器中，工作效率也将得到进一步提高。
然而，多核系统增强的功能与能效也同样提升了人们对I/O容量的要求。在将多个应用整合到服务器方面，多核服务器确实拥有充足的提升潜力，同时应用I/O流量的聚合还能轻易地利用万兆以太网连接的额外带宽来实现最优网络性能。但是，仅提高额外的连接带宽并不是提升吞吐量的有效解决方法，各类服务器在I/O进程中都存在着的巨大瓶颈，需要系统级的解决方案才能彻底克服这些瓶颈。
I/O加速技术在万兆以太网上得以充分发挥，该技术可在服务器系统的网卡、芯片组与处理器间实现高效数据移动，由此通过增加处理器占用率和降低延迟来提升系统的整体性能。以英特尔万兆以太网产品 PCI Express（简称PCIe）为例，其I/O加速功能利用芯片组而非CPU来实现数据副本移动，支持CPU预取数据，从而避免缓存未命中的发生，并提高应用的响应速度。其MSI-X技术有助于实现多个 MSI 向量间的I/O网络中断负载平衡，低延迟中断则可根据数据的延迟敏感度来自动调节中断间隔时间。此外，采用PCI-E接口的所有英特尔万兆服务器网卡还可优化多核处理器平台的吞吐量。这些新的网络特性可将全部以太网工作负载分配到系统中的所有可用CPU内核，从而大幅提高性能。

推动虚拟化技术的部署

服务器整合是当前很多数据中心正在进行的工作，这种整合一般是将相似的应用整合到一台（或较少的几台）服务器中，最典型的技术则是虚拟化，通过在服务器上定义数台虚拟机（VM）的方式实现单台服务器支持多个不同的应用与 *** 作系统。
虽然服务器上的每台VM本质上像独立的物理机器那样运行，但由于其建立在单台服务器中，因此能够有效减少服务器数量，优化服务器利用率，并对资源进行更高效的集中管理。然而，多台 VM 会产生多个I/O流，这无疑会增加每台物理服务器的I/O带宽与处理负担。
万兆以太网服务器网卡可为虚拟化环境提供最大的可用连接带宽。更为难得的是，有些万兆以太网服务器网卡（如英特尔的PCIe）还有一项针对虚拟化环境的附加功能，即用虚拟机数据队列（VMDq）来进一步提升性能。该技术可通过为虚拟服务器内的不同虚拟机（VM）指定数据包以实现加速效果。接收到的数据包被存储到对应的虚拟机的队列并提交至虚拟机监视器（VMM）交换机，从而降低内存中副本的数量（系统将利用这些副本把数据包传送至虚拟机）。VMDq 还负责将各个主机服务器上的虚拟机数据包发出，以确保这些数据包能被及时、合理地传输至网络。这样就减少了由虚拟机软件（在多个虚拟机间共享端口及交换数据）新增层产生的相关开销带来的大量I/O损失。
总之，VMDq 利用多个队列将数据包进行分类和组合，提高了服务器与虚拟机的I/O效率，实现了加速效果。

图1描述了VMDq的关键要素。VMDq在接收端将I/O数据包分类为队列（Rx1、Rx2……Rxn）并指向目标虚拟机，然后将数据包以组为单位发送至第二层软件交换，这样就减少了软件交换需要处理的决策次数和数据副本的数量; 在发送端（Tx1、Tx2……Txn），VMDq负责提供发送队列的轮询服务。这就确保了顺利发送，防止了堵塞。由于改进了接收端与传输端，处理器的负担得以降低，虚拟环境中的 I/O性能也得到了增强。

高密度计算环境的强大后台

高密度计算环境包括高性能计算（HPC）、网格计算以及刀片计算机系统等。虽然它们的架构存在差异，但这些高密度计算环境却有着许多共性: 它们大多对电源、散热和空间要求很高，这也是多核处理器能占领高密度计算环境的原因。另外，它们对 I/O的需求也相当高，其中尤以刀片系统为最。
过去，刀片系统利用光纤通道实现存储连接，利用千兆以太网实现网络连接。而现在的刀片系统正向基于双核和四核处理器且具备万兆以太网连接能力的刀片服务器迈进。此外，刀片系统上的万兆以太网中每端口的成本也由过去的动辄上千美元下降到了现在的区区几百美元。
刀片系统中万兆以太网成本下降的重要原因在于新型万兆以太网控制器中完全集成了 10GbE 链路层控制器（MAC）与XAUI端口。实际上，如果将MAC和XAUI端口作为刀片服务器上的板载LAN（LOM）使用，那就能将 10GbE 直接连接到刀片系统中间板，而不必使用昂贵的物理层（PHY）设备。这样也能把物理层设备移出刀片服务器并整合至交换端口。物理层设备尤其是光纤连接，在网卡成本中所占比例很大，甚至超过了一半，交换层物理整合与共享会显著降低了10GbE刀片服务器系统的每端口成本。如此明显的性能提升与成本节约，尤其是采用铜缆双绞线的10GbE的出现，必将推动10GbE连接在数据中心领域的普及。

支持SAN存储

网络与数据中心存在三种传统的存储类型: 即直接连接存储（DAS）、网络连接存储（NAS）和存储域网（SAN）。每种类型都有其各自的特性与优势，相较而言，SAN在扩展性与灵活性方面最具优势，非常适合数据中心与高密度计算应用。部署SAN的主要障碍一个是设备成本，另一个是对负责安装和维护SAN光纤通道（FC）的专业人员的要求太高。尽管如此，SAN光纤通道还是凭借其高带宽优势，在存储领域市场中立足生根。
现在10GbE就要充当 SAN应用的可选架构了。这是通过iSCSI标准实现的。iSCSI标准是SCSI协议的扩展，可实现多数存储设备上的模块传输，也被应用于光纤通道。互联网扩展定义了IP扩展模块传输协议，可将标准的以太网基础设施要素用做SAN架构。
iSCSI的基本功能是通过本地iSCSI起始器（现今多数 *** 作系统中均提供）实现的。它允许将任意以太网卡当做SAN接口设备使用。然而，由于缺少远程启动能力，这项应用无法完全发挥作用。起初，人们对iSCSI主机总线适配器（HBA）提供过一种解决方案，但由于该方案与光纤通道适配器一样昂贵和专业，而使人望而生畏。
为此，支持iSCSI 远程启动成为新一代的PCI-E千兆和万兆服务器网卡的一项重要的特性。因为这样我们不仅能够从SAN中享受到10GbE的带宽优势，同时，还能使以太网与光纤通道在同一网络中使用。如图2所示，这种部署支持在扩展传统光纤通道SAN时使用低成本、高性能10GbE。

除了光纤通道带来的带宽优势外，带有iSCSI远程启动功能的10GbE网卡还为SAN应用带来了一系列优势。其中包括:
1 降低设备与管理成本。同高度专业的光纤通道组件相比，10GbE 网络组件价格更低，而且由于采用了以太网规范，安装与维护过程也避免了对光纤通道专业技能的依赖。
2 增强服务器管理能力。远程启动不再依赖每个服务器内的直接连接硬盘，而是可以通过SAN上的 *** 作系统映像来完成启动。这为机架安装式和刀片式服务器应用中的无盘服务器的使用以及服务器整合带来了很大便利。此外，通过 SAN 上的 *** 作系统映像来启动服务器还能保证每个服务器都采用了完全相同的 *** 作系统（以及相同的补丁和升级）。
3 改进灾难恢复能力。所有本地 SAN 信息，包括启动信息、 *** 作系统映像、应用程序以及数据，都能备份到远程 SAN，以便实现快速完全的灾难恢复。远程启动与 iSCSI SAN 为灾难防护与恢复提供了更为稳妥的保障。因为 iSCSI SAN 可以被保存在可用互联网连接的任意位置，它对地理位置的要求比较宽松，因而能更好地隔离防护因本地或地区性灾难（如地震、飓风）产生的网络瘫痪。
图2显示了FC（光纤通道）与iSCSI SAN共同使用的情形，也提出了一种新兴的统一光纤融合模式。2007 年 4 月，有关厂商共同宣布支持以太网光纤通道（FCoE）标准，从而将这种融合模式进一步推向了统一光纤的发展方向。FCoE为将服务器连接至现有FC SAN提供了第二种具有优势的解决方法，即在单个低成本多功能网卡上融合存储与局域网流量。另外，大容量机架式服务器与刀片式服务器将更适合通过通用以太网光纤架构连接到现有光纤 SAN上。

作为数据中心的基础网络架构

以前的数据中心千兆以太网是一种普遍的网络架构，但其带宽限制曾阻碍了它成为一些应用领域的首选架构，尤其是存储应用与进程间通信（IPC）领域。因此，光纤通道与 InfiniBand 成为注重性能的数据中心的首选架构。
光纤通道是一种数据传输技术，用于计算机设备之间的数据传输，光纤通道尤其适用于服务器共享存储设备的连接和存储控制器与驱动器之间的内部连接。光纤通道以1Gbps、2Gbps、4Gbps速率传输SAN数据，延迟时间短。例如，典型的光纤通道转换所产生的延时仅有数微秒。正是由于光纤通道结合了高速与低延迟的特点，在时间敏感型交易处理的环境中，光纤通道成为理想的选择。
然而，由于每台服务器需要配备一片特殊的光纤卡（光纤通道主机总线适配器卡，HBA），每片光纤卡（HBA）必须连接到光纤交换机中相应的端口，以形成SAN的“交换结构”， 导致构建光纤通道系统需要高昂的初期投入和维护成本，使得光纤通道技术主要局限于高端的存储应用。
InfiniBand是由InfiniBand行业协会制定的一种基于通道的、采用交换结构的I/O体系。其设计思路是通过一套中心机构在远程存储器、网络和服务器之间建立一个单一的连接链路，并由中心InfiniBand交换机来指挥流量，其非常紧凑的结构设计，大大提高了系统的性能、有效性和可靠性。当前，InfiniBand 主要应用在高性能计算领域，阻碍InfiniBand 进入其他领域的一个重要因素是构建该系统的价格太高。
如今，一些新技术的突破使万兆以太网能满足高带宽、低延迟与数据包零丢失的需求，同时能以更低的成本构建数据中心。
iSCSI起始器在 *** 作系统中的引入，为以太网充当存储架构开辟了道路，而iSCSI 远程启动技术的发展进一步拓宽了这条道路，使以太网服务器网卡能够提供更低的价格、更远的传输距离以及更简化的结构而成为极具优势的SAN架构。现在，与光纤通道相比，价格更低、性能更高的10GbE 服务器网卡在带宽和性价比方面更具优势。
以太网（尤其是万兆以太网）向存储领域的扩展，标志着以太网 I/O 融合趋势的开始。以太网 I/O 融合将带来诸多好处，包括降低基础设施及管理成本、规范互联行为以及为整个网络（从服务器背板到网络外延）提供高度灵活的单独架构。
当然，为了在以太网中实现 I/O 融合，仍需要增强一些端到端服务的质量才行。其中包括: 存储过程中数据包零丢失（消除对 iSCSI 的依赖）、更低的延迟（这与 InfiniBand 是一致的）、虚拟化网络链路、SAN 远程启动等。而具体到服务器网卡与交换机，主要包括优先组、端到端堵塞管理、流控制、带宽预定等。
业界有些厂商已就 I/O 融合理念着手开发专门技术与产品，并且开始全力推广 IEEE 标准。以太网 I/O 融合实现后，多种流量类型（局域网、存储以及 IPC）都将被整合到一个易用且真正普及的网络架构中。
可以预计，随着10GbE 中每端口成本的显著下降（ 2005 至 2007 年间下降达 41%）以及基于多核处理器的刀片式服务器和其他平台在性能和能效上的巨大提升，10GbE 连接必将在数据中心与网络中占据非常重要的位置。另外，随着 iSCSI 起始器在 *** 作系统中的出现以及服务器网卡对 iSCSI 远程启动的支持，10GbE 必定会在SAN应用领域充当更多重要角色。10GbE与以太网将通过 I/O 融合实现更低的网络基础设施成本，同时满足各种业务对于灵活性与响应速度的需要。

拓扑图很简单，一个服务器的两个网卡上联到两台核心交换机上
*** 作系统是rhel55
x86_64，交换机是华为9306，服务器是dell
M910刀片
服务器上的eth0和eth1做了绑定，我想用mode=0
这种负载均衡的方式来做
两台交换机配置了vrrp，左边的核心交换机是master，右边的是slave
但我在实际测试的过程中出现了问题。服务器是dell
m910，刀片服务器。我将eth0/1绑定成mode=0模式，在交换机上将连接刀片
>以blade center e 为例，直通模块只是相当于网线，把网卡的接口从刀片引出到机箱后面，各个刀片彼此不能交换数据，而交换模块不同，相当于一个6口对外，14口对内的交换机，缺省设置下，各个刀片可以通过这个交换机互相访问，包括对外的端口。

这问题有一点逗。
首先看品牌吧，
H3C、CISCO都是网络设备
IBM、HP、SUN、DELL都是服务器
NetApp、EMC是存储
本人对网络设备不太清楚，所以只说一下服务器。
外观上贴了Intel Xeon的一定是PC Server。
HP、IBM、DELL，高7U-10U的大箱子，里面坚着插了十几个片子，哪个片子就是刀片服务器，哪个箱子就是刀片中心。
贴了IBM Power的是IBM的小型机，现实大多数的小型机会是这个系列。
贴了Intel Itanium的是HP的小型机。
再有就是SUN的小型机。
上面插了很多并且只插硬盘的是存储。
1U的只插光纤线，并且只有光纤接口（管理口除外），是存储光纤交换机。
就这么多吧，很多东西要自己一个一个看，再去对照，查询。

---