理解Linux下网卡的bonding

发现工作中可能会用到Linux下网卡绑定相关的知识。找了些文章看，然后一通混剪，各家所长为我所用。

网卡bond，即网卡绑定，也称作网卡捆绑。网卡绑定有多种称谓：Port Trunking, Channel Bonding, Link Aggregation, NIC teaming等等，其实说的是一回事。就是将两个或者更多的物理网卡绑定成一个虚拟网卡。通过绑定可以达到链路冗余、带宽倍增、负载均衡等目的。是生产场景中提高性能和可靠性的一种常用技术。

Linux内置了网卡绑定的驱动程序，可以将多个物理网卡分别捆绑成多个不同的逻辑网卡（例如把eth0、eth1捆绑成bond0，把eth2、eth3捆绑成bond1）。对于每一个bond接口来说，可以分别定义不同的绑定模式和链路监视选项。

对应于不同的负载均衡和容错特性需求，Linux网卡bond的模式共有bond0－bond6共7种。

表示负载分担round-robin，并且是轮询的方式，比如第一个包走eth0，第二个包走eth1，直到数据包发送完毕。

表示主备模式，即同一时间时只有1块网卡在工作。

表示使用MAC地址的XOR Hash负载分担，网络上特定的通信双方会始终经由某一个网卡的链路通信，和交换机的聚合强制不协商方式配合。（需要xmit_hash_policy [1] ，需要交换机配置port channel）

表示所有包从所有绑定的网络接口发出，不考虑均衡流量的分担，只有冗余机制，但过于浪费资源。此模式适用于金融行业，因为他们需要高可靠性的网络，不允许出现任何问题。需要和交换机的聚合强制不协商方式配合。

表示支持802.3ad协议，和交换机的聚合LACP方式配合（需要xmit_hash_policy）.标准要求所有设备在聚合 *** 作时，要在同样的速率和双工模式。

是根据每个slave的负载情况选择slave进行发送，接收时使用当前轮到的slave。该模式要求slave接口的网络设备驱动有某种ethtool支持；而且ARP监控不可用。

在5的tlb基础上增加了rlb(接收负载均衡receiveload balance).不需要任何switch(交换机)的支持。接收负载均衡是通过ARP协商实现的.

模式1、模式5和模式6不需要交换机端的设置，网卡能自动聚合。模式4需要支持802.3ad。模式0，模式2和模式3理论上需要静态聚合方式。 （据说实测中模式0可以通过mac地址欺骗的方式在交换机不设置的情况下不太均衡地进行接收。）

创建ifcfg-bond0文件，配置IP地址、子网掩码、网关等参数。

修改eth0、eth1、eth2的配置文件，注释或删除IP地址、掩码、网关和MAC地址的配置，添加关于MASTER和SLAVE的设置

根据实际需求，选择合适的bonding模式，为bond0设置bonding kernel module。

在 /etc/modprobe.conf 中添加以下内容

确认模块是否加载成功

重启网络（或重启主机）：

查看bond0的状态：

另外还可以使用 ifconfig -a | grep HWaddr 查看bond0接口是否处于活动状态，以及各网卡MAC地址情况。

从上面的确认信息中，我们可以看到3个重要信息：

1.现在的bonding模式是active-backup

2.现在Active状态的网口是eth2

3.bond0,eth0、eth1、的物理地址和处于active状态下的eth2的物理地址相同，这样是为了避免上位交换机发生混乱。

可以ping一个远程地址，然后断开Active状态的eth2口网线，验证主备模式是否能正常切换，业务是否受到影响。

将网口添加到bond中:ifenslave bond eth0 eth1【bond要先up】

将bond中删除网口：ifenslave -d bond eth0

bond中网口主备倒换：ifenslave -c bond eth1

前面只是3个网口绑定成一个bond1的情况，如果我们要设置多个bond口，比如物理网口eth0和eth1组成bond0，eth2和eth3组成bond1应该如何设置呢？

网口设置文件的设置方法和上面第1步讲的方法相同，只是/etc/modprobe.d/bonding.conf的设定就不能像下面这样简单的叠加了：

正确的设置方法有2种：

第一种： 你可以看到，这种方式的话，多个bond口的模式就只能设成相同的了：

第二种： 这种方式，不同的bond口的mode可以设成不一样：

按照上面这2种设置方法，现在如果是要设置3个，4个，甚至更多的bond口，可是可以的。

第一节：安装软件包

用命令行安装软件包（在第5张光盘上）或直接“添加删除程序--网络服务器”，只要安装dhcp-3.0.1-59.EL4.i386.rpm：

第二节：配置DHCP双机负载均衡

目前DHCP-Failover（虽然叫failover，但实际上是双机同时在工作）仅支持最多两个节点。配置文件和单机配置一样，依然是/etc/dhcpd.conf；但出于方便管理的目的，在部署时，我们把地址池的配置放在/etc/dhcpd.master文件中，然后在/etc/dhcpd.conf中调用。

主节点的/etc/dhcpd.conf：

authoritative

ddns-update-style interim

ignore client-updates

one-lease-per-client true

failover peer "dhcp" {

primary

address 10.14.0.9

port 520

peer address 10.14.0.13

peer port 519

max-response-delay 60

max-unacked-updates 10

mclt 600

split 128

load balance max seconds 3

}

include "/etc/dhcpd.master"

次节点的/etc/dhcpd.conf：

authoritative

ddns-update-style interim

ignore client-updates

one-lease-per-client true

failover peer "dhcp" {

secondary

address 10.14.0.13

port 519

peer address 10.14.0.9

peer port 520

max-response-delay 60

max-unacked-updates 10

}

include "/etc/dhcpd.master"

【注意】

1、两台dhcp server的时间必须同步，可用ntp

2、Dhcp Failover的互相监听地址可以采用专用网卡互相直连做心跳的方式，甚至心跳卡可以考虑双网卡绑定！从而使监听和网络数据流分开，即使网络中断亦不会因此导致dhcp双机中断，如下所示：

这种时候Failover专用接口所在网段，可在地址池中定义一个空池，不做任何地址分配 *** 作：

subnet x.x.x.x netmask 255.255.255.248 {

}

本文列出的配置是采用心跳和数据网卡混用的方式。

/etc/dhcpd.conf

主控服务器

authoritative

ddns-update-style interim

ignore client-updates

one-lease-per-client true

failover peer "dhcp" {

primary

address 10.14.0.9

port 520

peer address 10.14.0.13

peer port 519

max-response-delay 60

max-unacked-updates 20

mclt 3600

split 128

load balance max seconds 3

}

include "/etc/dhcpd.master"

说明

说明这是正式（官方）服务器，而非测试用

动态DNS的更新方式，有3种1

不允许客户机更新DNS记录

每一个客户机对应一个租约信息（文件）2

指定本机所属failover域的识别码为dhcp

指定本机为主控服务器

指定本机的监听地址

指定本机的监听端口

对端的监听地址

对端的监听端口

最大无响应时间 60秒，如果地址池很多这个时间可加大3

在得到对端响应之前，最多连续发送20个消息

双机联系中断时所分配的地址的租约时间，3600秒

负载分担比例，取值0－256，128为平均分担负载

地址池文件

【注1】这个style参数必须是interim(推荐)、ad-hoc或者none

【注2】假如这个标志配置成true（enabled），当一个客户端发送一个DHCPREQUEST信息来租用租约时，服务器会自动释放任何这个客户的任何其他租约。服务器假定当一个客户端发送DHCPREQUEST信息时，他已忘记任何他没有在 DHCPREQUEST中提到的租约，例如，客户端只是个简单的网络接口，不能记住原来拥有而现在不用的租约。这些假定都是没有确保，而且不可证实的，因此小心使用这个语句。

【注3】如果这个值不够大，会发生地址池还未同步结束，就产生连接中断现象。在拥有近1万个地址池时，这个值被设为180。

/etc/dhcpd.master

两个节点的地址池配置必须保持完全一致。

option domain-name-servers 10.14.0.9,10.14.0.13

default-lease-time 21600

max-lease-time 43200

subnet 10.14.0.8 netmask 255.255.255.248 {

option routers 10.14.0.14

pool {

failover peer "dhcp"

range 10.14.0.11 10.14.0.12

deny dynamic bootp clients

}

}

#shuniu

subnet 10.0.0.0 netmask 255.255.224.0 {

option routers 10.0.31.254

pool {

failover peer "dhcp"

range 10.0.0.1 10.0.31.250

deny dynamic bootp clients

}

}

......

有多少个网段就有多少个地址池，一个个配置下去。

域名服务器

默认租约时间（6小时）

最大租约时间

定义子网/掩码

定义子网的网关

地址池

属于名为 dhcp 的failover组

地址范围，可多条range

拒绝bootp客户端

第三节：管理 *** 作

在两个节点依次启动dhcp服务，先主后备。

# service dhcpd start

配置自动启动

# chkconfig dhcpd on

验证

# netstat -anutp | grep dhcpd

udp 0 0 0.0.0.0:67 0.0.0.0:* 6581/dhcpd

查看地址租借信息

# cat /var/lib/dhcp/dhcpd.leases

3.1、租约文件

dhcpd每次都会把所有的租借信息写到/var/lib/dhcpd.leases文件中，上一次的租借文件被改名成dhcpd.leases~

3.2、地址池同步

每次重启DHCP服务时，双机都会自动执行地址池同步 *** 作。

在次服务器上：

# service dhcpd congrestart

3.3、查看日志信息

凡是有任何和DHCP服务器的地址分配有关的故障，都可以通过查看日志文件分析出原因并得以处理。

# tail -f /var/log/messages

其他的故障绝大部分是由于作为中转的DHCP-RELAY设备配置有问题导致。

3.4、简要故障

1、某台服务器无法为某个网段的客户机提供地址租借服务

有时会由于某种原因导致双机地址池无法合理分配，比如主服务器掌控了某个地址池的所有地址，这时需要先停止两个节点的dhcp服务，删除两个节点的地址租约文件，然后依次重启服务。

2、无法形成双机

请注意两个节点的时间是否一致，如果时间差距太大，比如2分钟，两台dhcp服务器将无法形成集群。可通过配置ntp保持两个节点的时间同步。

---