OVS(Open vSwitch)注包

OVS注包的场景：

UCloud的 SDN 网络是基于OVS做的。为了进行内网监控，需要 测试 用户的两台云主机通信是否正常。但是，作为服务方我们是无法登陆到用户的云主机的。因此，采用了向源端的OVS中注入一个ping包的方法测试网络是否正常。

基本原理

实验环境示意图：实现不登陆进SRC VM的前提下，发送Ping的请求包给DST VM，并捕获返回的应答包Ping Response。

染色：

用户有可能自己也会发送Ping包，为了区分用户的应答包和注入方式得到的应答包，需要对注入的Ping Request进行染色。首先看下ICMP包的格式，如下所示。

黄色标记起来的Identifier字段含义如下(RFC 792)

The identifier and sequence number may be used by the echo sender to aid in matching the replies with the echo requests

通过设置Identifier的值，可以区分不同的请求对应的应答包。

这里我们设置Identifier=111，捕获数据包时，需要指定ICMP包 icmp[4:2]=111，表明ICMP的第四、第五个字节的值等于111.

注入Ping Request包

需要使用ovs-ofctl packet-out进行注包 *** 作，命令格式如下：

ovs-ofctl packet-out switch in_port actions packet...

说明：

1、packet-out：连接到OVS，并且让OVS对Packet执行某个Action

Connects  to  switch  and  instructs it to execute the OpenFlow actions on each packet

2、switch：交换机的名字，比如实验环境中的br0

3、in_port：SRC VM连接到OVS的端口号，就是实验环境示意图中的In Port

4、packet：数据包，实验中就是染了色的Ping Request数据包。

5、Action：关键是Action的选择，我们采用的是resubmit，说明如下。resubmit会找到数据包对应的流表，然后更换掉in_port并执行流表中的Action。我们这里设置port=in_port。所以仅仅会执行流表中的Action。

resubmit([port],[table])：Re-searches this OpenFlow flow table with thein_portfield replaced byportand executes the actions found

捕获Ping的Response包

采用tcpdump进行捕获染了色的Ping数据包。命令如下

tcpdump -c 1 -iVIRTUAL_INTERFACEicmp and src hostSRC_IPand dst hostDST_IPand icmp[4:2]=111

1. VIRTUAL_INTERFACE: 云主机使用虚拟网卡的名字

2. SRC_IP：源云主机的IP地址

3. DST_IP：目的云主机的IP地址

4. 111：染色标记

golang实现的主逻辑

injectICMPCmd=util.GetInjectICMPPacket(srcIp,dstIp,srcMac,dstMac)//构造染了色的Ping Request包，以及注入命令tcpDumpCmd=util.TcpDumpICMPCommand(iface,srcIp,dstIp)//构造tcpdump的抓包命令tcpDumpResponse:=make(chanstring)srcHostIp:="XXX"//宿主机的IP地址gofunc(){command:=fmt.Sprintf("ssh %s@%s %s","root",srcHostIp,tcpDumpCmd)util.SshRunWithChannelResponse(command,tcpDumpResponse)}()// inject Packet into OVStime.Sleep(100*time.Millisecond)gofunc(){command:=fmt.Sprintf("ssh %s@%s %s","root",srcHostIp,injectICMPCmd)util.SshRun(command)}()success:=trueselect{casemsg:=<-tcpDumpResponse:ifstrings.Contains(msg,dstIp){fmt.Printf("Checking Success, Response: %s\n",msg)}else{success=falsefmt.Printf("Checking Fail, Response: %s\n",msg)}}returnsuccess

单个主机上容器之间如果要实现网络互通比较容易实现，一种常见做法是把需要通信的容器网络接口桥接到相同的主机网络接口，这样容器就处在相同的广播域，它们的网络地址是由Docker来负责分配管理，所以会获得同一网段的IP地址，网络互通所需的条件全部满足。

当容器处在不同的主机，情况就大不相同，因为主机的网络环境隔离了容器的网络环境，此时要实现网络互通，就需要做更多的工作。本文依赖OpenvSwitch实现多主机容器间网络通信。

1，使用GRE接口

实验拓扑如下：

用比较通俗的说法解释上图，Host 1上的Container 1连接交换机docker0，docker0连接路由器ovs-br，Host 2上的Container2同理。然后两台路由器ovs-br通过GRE隧道相连。用隧道的原因是容器间的流量必须承载在Host 1和Host 2的网络之上。

配置Host 1:

配置Host 2（为了避免和Host 1上Container 1上的IP地址冲突，可以启动两个容器，将第二个启动的容器作为Container2）

配置完毕后，进入Container 1，ping测试Container 2发现是可以ping通的。

2，使用VxLAN接口

拓扑如下

这次直接把docker自带的网桥docker0去掉，因为它本不是必需的。

Host 2上的配置类似，ovs-br的IP地址设置为192.168.8.4，容器内eth0的IP地址配置为192.168.8.3

配置完毕后，在Host 1的容器里面 ping测试Host 2上的容器，发现是通的。ping测试的同时，在Host 2的网卡eth0抓下包，可以看到VxLAN的身影，如下图所示：

像 设置IP 更改主机名什么的和LInux是一样的！

特别的就是下面的了：

esxcfg-nics

这个命令显示物理网卡列表，除去每个网卡的驱动信息、PCI设备、链接状态，你可以使用这个命令控制物理网卡的速度、双工模式等。esxcfg-nics –l显示网卡信息、esxcfg-nics –h显示该命令可用的选项，以下是一些例子：

o设置物理网卡vmnic2的速度和双工模式为100/Full:

esxcfg-nics -s 100 -d full vmnic2

o设置物理网卡vmnic2的速度和双工模式为自适应模式:

esxcfg-nics -a vmnic2

esxcfg-vswif

创建或者更新服务控制台网络，包括IP地址和端口组，esxcfg-vswif –l显示当前设置、esxcfg-vswif –h显示可用的选项，以下是一些例子：

o更改服务控制台(vswif0)IP地址和子网掩码:

esxcfg-vswif -i 172.20.20.5 -n 255.255.255.0 vswif0

o添加服务控制台(vswif0):

esxcfg-vswif -a vswif0 -p "Service Console" -i 172.20.20.40 -n 255.255.255.0

esxcfg-vswitch

创建或者更新虚拟机网络(vSwitch) ,包括上行链路、端口组和VLAN ID. 输入esxcfg-vswitch –l显示当前的vSwitch、 esxcfg-vswitch –h显示所有可用的选项. 以下是一些例子:

o将物理网卡(vmnic2) 添加到vSwitch (vSwitch1):

esxcfg-vswitch -L vmnic2 vswitch1

o将物理网卡(vmnic3)从一个vSwitch (vSwitch0)上移除:

esxcfg-vswitch -U vmnic3 vswitch0

o在vSwitch (vSwitch1)上添加一个端口组(VM Network3):

esxcfg-vswitch -A "VM Network 3" vSwitch1

o在vSwitch (vSwitch1)上给端口组(VM Network 3)分配一个VLAN ID(3):

esxcfg-vswitch -v 3 -p "VM Network 3" vSwitch1

esxcfg-route

设置或提取缺省的VMkernel网关路由。输入esxcfg-route –l当前的路由信息、esxcfg-route -h显示所有可用的选项. 以下是一些例子:

o设置缺省的VMkernel网关路由:

esxcfg-route 172.20.20.1

o添加一个路由到VMkernel:

esxcfg-route -a default 255.255.255.0 172.20.20.1

esxcfg-vmknic

为VMotion、NAS和iSCSI创建或者更新VMkernel TCP/IP设置。输入esxcfg-vmknic –l显示VMkernel NICs、esxcfg-vmknic -h显示所有可用的选项. 以下是一些例子:

o添加一个VMkernel NIC并设定IP和子网掩码:

esxcfg-vmknic -a "VM Kernel" -i 172.20.20.19 -n 255.255.255.0

另外，你可以通过service network restart命令重启服务控制台网络。

---