PCI Express总线技术白皮书

PCI Express总线技术白皮书

1.1 PCI Express总线的起源和现状

       2001年春季的IDF上Intel正式公布PCI Express，是取代PCI总线的第三代I\O技术，也称为3GIO。该总线的规范由Intel支持的AWG（Arapahoe Working Group）负责制定。2002 年4月17日，AWG正式宣布3GIO 1.0规范草稿制定完毕，并移交PCI-SIG进行审核。开始的时候大家都以为它会被命名为Serial PCI（受到串行ATA的影响），但最后却被正式命名为PCI Express。2006年正式推出Spec2.0（2.0规范）。

       PCI Express总线技术的演进过程，实际上是计算系统I\O接口速率演进的过程。PCI总线是一种33MHz@32bit或者66MHz@64bit的并行总线，总线带宽为133MB/s到最大533MB/s，连接在PCI总线上的所设备共享133MB/s～533MB/s带宽。这种总线用来应付声卡、10/100M网卡以及USB 1.1等网络接口基本不成问题。随着计算机和通信技术的进一步发展，新一代的I\O接口大量涌现，比如千兆（GE）、万兆（10GE）的以太网技术、4G/8G的FC技术，使得PCI总线的带宽已经无力应付计算系统内部大量高带宽并行读写的要求，PCI总线也成为系统性能提升的瓶颈，于是就出现了PCI Express总线。PCI Express总线技术在当今新一代的存储系统已经普遍的应用。PCI Express总线能够提供极高的带宽，来满足系统的需求。如下表所示：

                                                                             表1 PCI Express对比

       目前，PCI-E 3.0规范也已经确定，其编码数据速率，比同等情况下的PCI-E 2.0规范提高了一倍，X32端口的双向速率高达320Gbps。

       1.2 PCI Express总线的技术优势

       PCI总线的最大优点是总线结构简单、成本低、设计简单，但是缺点也比较明显：

       1) 并行总线无法连接太多设备，总线扩展性比较差，线间干扰将导致系统无法正常工作；
       2) 当连接多个设备时，总线有效带宽将大幅降低，传输速率变慢；
       3) 为了降低成本和尽可能减少相互间的干扰，需要减少总线带宽，或者地址总线和数据总线采用复用方式设计，这样降低了带宽利用率。 PCI Express总线是为将来的计算机和通讯平台定义的一种高性能，通用I\O互连总线。

       与PCI总线相比，PCI Express总线主要有下面的技术优势：

       1) 是串行总线，进行点对点传输，每个传输通道独享带宽。
       2) PCI Express总线支持双向传输模式和数据分通道传输模式。其中数据分通道传输模式即PCI Express总线的x1、x2、x4、x8、x12、x16和x32多通道连接，x1单向传输带宽即可达到250MB/s，双向传输带宽更能够达到500MB/s，这个已经不是普通PCI总线所能够相比的了。具体配置可以参照表1。
       3) PCI Express总线充分利用先进的点到点互连、基于交换的技术、基于包的协议来实现新的总线性能和特征。电源管理、服务质量（QoS）、热插拔支持、数据完整性、错误处理机制等也是PCI Express总线所支持的高级特征。

       4) 与PCI总线良好的继承性，可以保持软件的继承和可靠性。PCI Express总线关键的PCI特征，比如应用模型、存储结构、软件接口等与传统PCI总线保持一致，但是并行的PCI总线被一种具有高度扩展性的、完全串行的总线所替代。

       5) PCI Express总线充分利用先进的点到点互连，降低了系统硬件平台设计的复杂 性和难度，从而大大降低了系统的开发制造设计成本，极大地提高系统的性价比和健壮性。从下面表格可以看出，系统总线带宽提高同时，减少了硬件PIN的数量，硬件的成本直接下降。

       1.3 PCI Express总线在万兆存储系统的应用

       在H3C公司开发的最新一代存储产品IX3000中，采用Intel最新一代服务器硬件平台技术，前端支持高达16个GE接口，或者8个GE+8个4Gb FC接口，最高配置更可以支持多达4个10GE接口，后端接口可以提供6个SAS×4宽端口，达到72Gbps的后端访问速率，提供无与伦比的磁盘访问IOPS和吞吐量，只有PCI Express总线架构的系统才能满足系统性能的需求。

       IX3000存储系统控制器系统架构如下图所示。系统采用4条×8的PCIE总线来扩展前端和后端接口，采用2条×8PCIE总线来实现2个控制器之间的缓存镜像，采用2条×8PCIE总线作为系统内部的控制和管理通道。其前端接口能够安装10GE接口卡或者GE+FC COMBO接口卡，以及GE接口卡，后端PCIE接口用来和高性能的IO处理扩展卡连接，提供高性能IO处理、RAID计算以及CACHE镜像管理等功能，并提供SAS后端接口用于连接SAS磁盘阵列，为用户带来前所未有的存储新体验。