给你10个路由器或交换机，你如何配置？（第1篇）

前几周有人问我，如果有一个环境中给你10多个交换机和路由器，应该如何配置。这是一个很好的问题，关键不在端口安全、Port Channel、STP、和路由的配置，而是在于针对终端应用服务特点选择相应适合的网络架构。

近十年来，虽然云服务的扩展性需求促进了相关解决方案快速发展，然而数据中心常见的网络拓扑仍然可以归纳为两种：传统的三层网络架构，和Leaf-Spine二层网络架构。

传统的三层网络架构由三层交换机组成：即访问层，聚合层(有时称为分发层)和核心层。服务器连接到其中一个边缘层访问交换机(常称Top of Rack Switch，或 TOR Switch)，聚合层交换机则将多个接入层交换机互连在一起，所有聚合层交换机通过核心层交换机相互连接。核心层交换机还负责将数据中心连接到Internet。传统的数据中心过去采用的就是这种三层架构。

下图是我参与优化设计的有数万台服务器的传统数据中心网络架构示意图。

在这个拓扑中，除了经典的三层（分发路由器，网络分区汇聚路由器，服务器接入交换机）外，核心层还包括了： WAN核心骨干路由器，WAN发路由器，WAN优化加速，LAN核心路由器，外部Choke路由器，Internet边界路由器，Transit，防火墙，用于联接数据包分析器的Network TAP。网络负载均衡器放在了聚合层。另外还有一个专用的OOB接入层，用于设备维护管理。

三层架构虽然容易部署、易于诊断，但是其已无法满足日益增长的云计算需求。三层架构面临的主要问题包括：低可扩展性、低容错性、内部服务器之间横截面带宽低、较高层超额使用（Oversubscription）、高层次的拓扑中使用的大型模块化交换机成本非常高。

我过去常采用以下这几个方法缓解三层架构中网络分离问题：
(1)、PVLAN: 专用VLAN，也称为端口隔离，是计算机网络中的一种技术，其中VLAN包含受限制的交换机端口，使得它们只能与给定的端口通信。这个常用于后端的NFS网络。
(2)、VRF虚拟化路由表，用于路径隔离。
(3)、GRE Tunnel。
(4)、使用一些Overlay network封装协议并结合一 *** 作系统虚似化实现网络分离。

Leaf-Spine网络架构解决了传统三层网络架构所面临的Oversubscription和内部服务器之间横截面带宽问题。Leaf-Spine网络架构在过去几年里已开始接管主要的云服务数据中心。Leaf-Spine结构也称为Clos结构，其中每个Leaf交换机（ToR交换机）以全网状拓扑连接到每个Spine交换机。这是一种两层的Fat-tree网络。这种架构中Leaf之间只有一个跳，最大限度地减少了任何延迟和瓶颈。Spine网络的扩展非常简单，只要在需增长的情况下逐步添加Spine交换机。

Leaf-Spine架构使用定制的寻址方案和路由算法，而非传统的STP。根据网络交换机中可用的功能，可以使用第2层或第3层技术实现Leaf-Spine网格。第3层的Leaf-Spine要求每个链路都被路由，并且通常使用开放最短路径优先（OSPF）或等价多路径路由（ ECMP ）来实现的边界网关协议（BGP）动态路由。第2层采用loop-free的以太网fabric技术，例如多链接透明互联（TRILL）或最短路径桥接（SPB, IEEE 8021aq）。其中，思科的FabricPath 和Brocade的Virtual Cluster Switching是基于TRILL发展而来的私有data plane。核心网络还可使用带有ECMP的动态路由协议通过第3层连接到主干网。华为、联想、Brocade、HP、 Extreme Networks等公司都有基于TRILL的产品或其它Leaf-Spine架构的解决方案。

Leaf-Spine结构的优点是：

(1)、使用所有链路互连，而不像传统网络中冗余链路被STP阻塞。
(2)、所有内部Leaf之间横向通信都是等距的，因此数据流延时时间是确定的。
(3)、Underlay的交换机配置和核心网络配置是固定的，因此变更Overlay Network的路由不需要更改核心网络。
(4)、产品安全区域能虚拟分离，扩展了VLAN和多租户安全性。
(5)、基础设施的物理网络可以和逻辑网络(Overlay network)分离。

Leaf-Spine结构也有些缺点，比如：

(1)、网络交换机的数量远远大于三层网络架构。
(2)、扩展新的Leaf时需要大量的线缆、并占用大量Spine交换机端口。
(3)、Spine交换机端口数量决定了最大可联接的Leaf交换机数量，也就决定了最大主机总数量。

下图是我参与过的一个公有云Leaf-Spine方案示意草图。

现代的数据中心部署中，我们一般将网络设备、服务器和机架在出厂时应模块化。对于使用Leaf-Spine 网络的数据中心，出厂时预装配成四种类型的标准工程系统：Transit 机柜, Spine 机柜, Fabric 机柜, 和 Server 机柜。Leaf 交换机和服务器一样被预装配于 Server 机柜，基本上做到开柜上电即可上线使用。

当下全球主流公有云基本上采用的都是Leaf-Spine 网络架构。然而，各家公有云服务商Leaf-Spine网络中的Underlay Network和Overlay Network使用的协议和方案有很大区别。比如，你可以基于Leaf-Spine架构使用VXLAN来设计你的SDN解决方案，也可以基于ECMP的BGP-labeled-unicast的underlay 网络，使用MPLS L3s构建另一种多租户的数据中心SDN解决方案。

聊完了两种层数据中心网络架构，相信大家如有机会搭建新的网络时，应该知道如何选择您的网络架构方案了。

欢迎大家发表留言，谈谈你所熟悉的Leaf-Spine网络架构方案中，Underlay Network和Overlay Network使用的协议分别是什么。

参考资料：

(1)、 Building Multi tenant Data Centers with MPLS L3s
(2)、 Cisco Data Center Spine-and-Leaf Architecture: Design Overview White Paper

计算机局域网中的双绞线可分为非屏蔽双绞线(UTP)和屏蔽双绞线(STP)两大类：STP外面由一层金属材料包裹，以减小辐射，防止信息被窃听，同时具有较高的数据传输速率，但价格较高，安装也比较复杂;UTP无金属屏蔽材料，只有一层绝缘胶皮包裹，价格相对便宜，组网灵活。除某些特殊场合(如受电磁辐射严重、对传输质量要求较高等)在布线中使用STP外，一般情况下我们都采用UTP。现在使用的UTP可分为3类、4类、五类和超五类四种。其中：3类UTP适应了以太网(10Mbps)对传输介质的要求，是早期网络中重要的传输介质;4类UTP因标准的推出比3类晚，而传输性能与3类UTP相比并没有提高多少，所以一般较少使用;五类UTP因价廉质优而成为快速以太网(100Mbps)的首选介质;超五类UTP的用武之地是千兆位以太网(1000Mbps)。根据目前网络布线的实际需要，本文主要介绍五类UTP的正确识别和选择方法。

1传输速度

双绞线质量的优劣是决定局域网带宽的关键因素之一。某些厂商在五类UTP电缆中所包裹的是3类或4类UTP中所使用的线对，这种制假方法对一般用户来说很难辨别。这种所谓的“五类UTP”无法达到100Mbps的数据传输率，最大为10Mbps或16Mbps。一个简单的鉴别办法是用一条双绞线连接两台100Mbps的设备(网卡到网卡或网卡到HUB)，通信时用Windows 95/98自带的monitor检测工具对其数据传输率进行监测。方法为:①选择“开始→程序→附件→系统工具→系统监视器”，将出现“系统监视器”窗口。如果在“系统工具”中没有“系统监视器”工具时，可通过“我的电脑→添加/删除程序→Windows安装程序→系统工具→系统监视器”建立。②在“系统监视器”窗口中设置监视对象。选择“编辑”菜单中的“添加项目”选项，在出现的对话框的“类别”列表中选择“Microsoft网络服务器”或“Microsoft网络客户”(注意:在保证网络连接正常的情况下)，在下一个对话框中选择“写入的字节数/秒”或“读取的字节数/秒”。至于选择“Microsoft网络服务器”或“Microsoft网络客户”，还是“写入的字节数/秒”或“读取的字节数/秒”，读者可任意选择，因为在网络中一个节点发送出的数据应该等于另一个节点接收到的数据。③设置测试数据的输出方式。系统提供了折线图、条形图和数字图三种输出方式，可通过窗口工具栏内的按钮来选择。④进行测试。最有效的办法是从服务器向你进行测试的工作站上拷贝大量的文件(为了测试的准确性，所拷贝的内容一定要足够多)。一般来说，显示的峰值数值在4M/s以上，就基本可以肯定是五类网线了(3类线所能达到的峰值数值大约为25M/s)。

2电缆中双绞线对的扭绕应符合要求

为了降低信号的干扰，双绞线电缆中的每一线对都是由两根绝缘的铜导线相互扭绕而成，而且同一电缆中的不同线对具有不同的扭绕度(就是扭绕线圈的数量多少)，如图3所示。同时，标准双绞线电缆中的线对是按逆时针方向进行扭绕。但某些非正规厂商生产的电缆线却存在许多问题:①为了简化制造工艺，电缆中所有线对的扭绕密度相同;②线对中两根绝缘导线的扭绕密度不符合技术要求;③线对的扭绕方向不符合要求。如果存在以上问题，将会引起双绞线的近端串扰(指UTP中两线对之间的信号干扰程度)，从而使传输距离达不到要求。双绞线的扭绕度在生产中都有较严格的标准，实际选购时，在有条件的情况下可用一些专业设备进行测量，但一般用户只能凭肉眼来观察。需说明的是，五类UTP中线对的扭绕度要比三类密，超五类要比五类密。

除组成双绞线线对的两条绝缘铜导线要按要求进行扭绕外，标准双绞线电缆中的线对之间也要按逆时针方向进行扭绕。否则将会引起电缆电阻的不匹配，限制了传输距离。这一点一般用户很少注意到。有关五类双绞线电缆的扭绕度和其他相关参数，有兴趣的读者可查阅TIA/EIA 568A(TIA/EIA 568是ANSI于1996年制定的布线标准，该标准给出了网络布线时有关基础设施，包括线缆、连接设备等的内容。字母“A”表示为IBM的布线标准，而AT&T公司用字母“B”表示。)中的具体规定。

3五类双绞线应该是多少对？

以太网在使用双绞线作为传输介质时只需要2对(4芯)线就可以完成信号的发送和接收。在使用双绞线作为传输介质的快速以太网中存在着三个标准：100Base-TX、100Base-T2和100Base-T4。其中：100Base-T4标准要求使用全部的4对线进行信号传输，另外两个标准只要求2对线。而在快速以太网中最普及的是100Base-TX标准，所以你在购买100M网络中使用的双绞线时，不要为图一点小便宜去使用只有2个线对的双绞线。在美国线缆标准(AWG)中对3类、4类、五类和超五类双绞线都定义为4对，在千兆位以太网中更是要求使用全部的4对线进行通信。所以，标准五类线缆中应该有4对线。

4仔细观察

在具备了以上知识后，识别五类UTP时还应注意以下几点：①查看电缆外面的说明信息。在双绞线电缆的外面包皮上应该印有像“AMP SYSTEMS CABLE……24AWG……CAT5”的字样，表示该双绞线是AMP公司(最具声誉的双绞线品牌)的五类双绞线，其中24AWG表示是局域网中所使用的双绞线，CAT5表示为五类；此外还有一种NORDX/CDT公司的IBDN标准五类网线，上面的字样就是“IBDN PLUS NORDX/CDX……24 AWG……CATEGORY 5”，这里的“CATEGORY 5”也表示五类线(CATEGORY是英文“种类”的意思)。笔者曾经用过一箱没有标明类别的所谓五类线，经实测只能达到3类线的标准;②是否易弯曲。双绞线应弯曲自然，以方便布线;③电缆中的铜芯是否具有较好的韧性。为了使双绞线在移动中不致于断线，除外皮保护层外，内部的铜芯还要具有一定的韧性。同时为便于接头的制作和连接可靠，铜芯既不能太软，也不能太硬，太软不易接头的制作，太硬则容易产生接头处断裂;④是否具有阻燃性。为了避免受高温或起火而引起的线缆损坏，双绞线最外面的一层包皮除应具有很好的抗拉特性外，还应具有阻燃性(可以用火来烧一下测试:如果是正品，胶皮会受热松软，不会起火;如果是假货，一点就着)。为了降低制造成本，非标准双绞线电缆一般采用不符合要求的材料制作电缆的包皮，不利于通信安全。

---