IPVS(LVS)负载均衡简介及实验测试

LVS是Linux Virtual Server的简称，也就是Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目，现在已经是 Linux标准内核的一部分。LVS是一种叫基于TCP/IP的负载均衡技术，转发效率极高，具有处理百万计并发连接请求的能力。

LVS的IP负载均衡技术是通过IPVS模块实现的。IPVS模块是LVS集群的核心软件模块，它安装在LVS集群作为负载均衡的主节点上，虚拟出一个IP地址和端口对外提供服务。用户通过访问这个虚拟服务（VS），然后访问请求由负载均衡器（LB）调度到后端真实服务器（RS）中，由RS实际处理用户的请求给返回响应。

根据负载均衡器转发客户端请求以及RS返回响应机制的不同，将IPVS的转发模式分为三种：VS/NAT，VS/DR，VS/TUN

DR模式下，客户端的请求包到达负载均衡器的虚拟服务IP端口后，负载均衡器不会改写请求包的IP和端口，但是会改写请求包的MAC地址为后端RS的MAC地址，然后将数据包转发；真实服务器处理请求后，响应包直接回给客户端，不再经过负载均衡器。所以DR模式的转发效率是最高的，特别适合下行流量较大的业务场景，比如请求视频等大文件。

DR模式的特点：

LB只是将数据包的MAC地址改写为RS的MAC地址，然后转发给相应的RS。

因为LB转发时并不会改写数据包的目的IP，所以RS收到的数据包的目的IP仍是LB的虚拟服务IP。为了保证RS能够正确处理该数据包，而不是丢弃，必须在RS的环回网卡上绑定LB的虚拟服务IP。这样RS会认为这个虚拟服务IP是自己的IP，自己是能够处理这个数据包的。否则RS会直接丢弃该数据包！

因为LB不会改写数据包的目的端口，所以RS服务的监听端口必须和虚拟服务端口一致，否则RS会直接拒绝该数据包。

因为RS收到的请求数据包的源IP是客户端的IP，所以理所当然RS的响应会直接回给客户端，而不会再经过LB。这时候要求RS和客户端之间的网络是可达的。

因为LB在转发过程中需要改写数据包的MAC为RS的MAC地址，所以要能够查询到RS的MAC。而要获取到RS的MAC，则需要保证二者位于一个子网，否则LB只能获取到RS网关的MAC地址。

NAT模式下，请求包和响应包都需要经过LB处理。当客户端的请求到达虚拟服务后，LB会对请求包做目的地址转换（DNAT），将请求包的目的IP改写为RS的IP。当收到RS的响应后，LB会对响应包做源地址转换（SNAT），将响应包的源IP改写为LB的IP。

NAT模式的特点：

对于请求包，会进行DNAT；对于响应包，会进行SNAT。

虽然LB在转发过程中做了NAT转换，但是因为只是做了部分地址转发，所以RS收到的请求包里是能看到客户端IP的。

因为RS收到的请求包源IP是客户端的IP，为了保证响应包在返回时能走到LB上面，所以需要将RS的默认网关地址配置为LB的虚拟服务IP地址。当然，如果客户端的IP是固定的，也可以在RS上添加明细路由指向LB的虚拟服务IP，不用改默认网关。

因为需要将RS的默认网关配置为LB的虚拟服务IP地址，所以需要保证LB和RS位于同一子网。

又因为需要保证RS的响应包能走回到LB上，则客户端不能和RS位于同一子网。否则RS直接就能获取到客户端的MAC，响应包就直接回给客户端了，不会走网关，也就走不到LB上面了。这时候由于没有LB做SNAT，客户端收到的响应包源IP是RS的IP，而客户端的请求包目的IP是LB的虚拟服务IP，这时候客户端无法识别响应包，会直接丢弃。

IP隧道（IP tunneling）是将一个IP报文封装在另一个IP报文的技术，这可以使得目标为一个IP地址的数据报文能被封装和转发到另一个IP地址。IP隧道技 术亦称为IP封装技术（IP encapsulation）。IP隧道主要用于移动主机和虚拟私有网络（Virtual Private Network），在其中隧道都是静态建立的，隧道一端有一个IP地址，另一端也有唯一的IP地址。

利用IP隧道技术将请求报文封装转发给后端服务器，响应报文能从后端服务器直接返回给客户。但在这里，后端服务器有一组而非一个，所以我们不可 能静态地建立一一对应的隧道，而是动态地选择一台服务器，将请求报文封装和转发给选出的服务器。这样，可以利用IP隧道的原理将一组服务器上的网络服 务组成在一个IP地址上的虚拟网络服务。各个服务器将VIP地址配置在自己的IP隧道设备上。

它的连接调度和管理与VS/NAT中的一样，只是它的报文转发方法不同。调度器根据各个服务器的负载情况， 动态地选择一台服务器，将请求报文封装在另一个IP报文中，再将封装后的IP报文转发给选出的服务器；服务器收到报文后，先将报文解封获得原来目标地址为 VIP的报文，服务器发现VIP地址被配置在本地的IP隧道设备上，所以就处理这个请求，然后根据路由表将响应报文直接返回给客户。

轮叫调度（Round Robin Scheduling）算法就是以轮叫的方式依次将请求调度不同的服务器，即每次调度执行i = (i + 1) mod n，并选出第i台服务器。算法的优点是其简洁性，它无需记录当前所有连接的状态，所以它是一种无状态调度。

LB会根据RS上配置的权重，将消息按权重比分发到不同的RS上。可以给性能更好的RS节点配置更高的权重，提升集群整体的性能。

最小连接调度（Least-Connection Scheduling）算法是把新的连接请求分配到当前连接数最小的服务器。最小连接调度是一种动态调度算法，它通过服务器当前所活跃的连接数来估计服务 器的负载情况。调度器需要记录各个服务器已建立连接的数目，当一个请求被调度到某台服务器，其连接数加1；当连接中止或超时，其连接数减一。

加权最小连接调度（Weighted Least-Connection Scheduling）算法是最小连接调度的超集，各个服务器用相应的权值表示其处理性能。服务器的缺省权值为1，系统管理员可以动态地设置服务器的权 值。加权最小连接调度在调度新连接时尽可能使服务器的已建立连接数和其权值成比例。

基于局部性的最少链接调度（Locality-Based Least Connections Scheduling，以下简称为LBLC）算法是针对请求报文的目标IP地址的负载均衡调度，目前主要用于Cache集群系统，因为在Cache集群中 客户请求报文的目标IP地址是变化的。这里假设任何后端服务器都可以处理任一请求，算法的设计目标是在服务器的负载基本平衡情况下，将相同目标IP地址的 请求调度到同一台服务器，来提高各台服务器的访问局部性和主存Cache命中率，从而整个集群系统的处理能力。

带复制的基于局部性最少链接调度（Locality-Based Least Connections with Replication Scheduling，以下简称为LBLCR）算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要 维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。对于一个“热门”站点的服务请求，一台Cache 服务器可能会忙不过来处理这些请求。这时，LBLC调度算法会从所有的Cache服务器中按“最小连接”原则选出一台Cache服务器，映射该“热门”站 点到这台Cache服务器，很快这台Cache服务器也会超载，就会重复上述过程选出新的Cache服务器。这样，可能会导致该“热门”站点的映像会出现 在所有的Cache服务器上，降低了Cache服务器的使用效率。LBLCR调度算法将“热门”站点映射到一组Cache服务器（服务器集合），当该“热 门”站点的请求负载增加时，会增加集合里的Cache服务器，来处理不断增长的负载；当该“热门”站点的请求负载降低时，会减少集合里的Cache服务器 数目。这样，该“热门”站点的映像不太可能出现在所有的Cache服务器上，从而提供Cache集群系统的使用效率。

目标地址散列调度（Destination Hashing Scheduling）算法也是针对目标IP地址的负载均衡，但它是一种静态映射算法，通过一个散列（Hash）函数将一个目标IP地址映射到一台服务器。

目标地址散列调度算法先根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

源地址散列调度（Source Hashing Scheduling）算法正好与目标地址散列调度算法相反，它根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。它采用的散列函数与目标地址散列调度算法 的相同。它的算法流程与目标地址散列调度算法的基本相似，除了将请求的目标IP地址换成请求的源IP地址。

客户端发送对VIP的请求，lvs负载到后端某一台server，后端server处理后，直接封包回送客户端，源IP地址一定是lvs上面配的那个公网服务地址，也就后端server要配置这个ip，后端server收到的数据包是lvs没有变动过的（IP：vip），多个server，接入互联网的server持有相同的IP，是不允许的，因此，必须将后端server中的vip隐藏起来（对外隐藏，对自己可见）

VIP: 虚拟服务器地址

DIP: 转发的网络地址

1，和RIP通信：ARP协议，获取Real Server的RIP：MAC地址；

2，转发Client的数据包到RIP上，RIP上要求有VIP（对外隐藏VIP）；

RIP: 后端真实主机(后端服务器)

CIP: 客户端IP地址

对外隐藏，对内可见

kernel parameter:

目标mac地址为全F，交换机触发广播

arp_ignore: 定义接收到ARP请求时的响应级别；

0：只要本地配置的有相应地址，就给予响应；

1：仅在请求的目标(MAC)地址配置请求

到达的接口上的时候，才给予响应；

arp_announce：定义将自己地址向外通告时的通告级别；

0：将本地任何接口上的任何地址向外通告；

1：试图仅向目标网络通告与其网络匹配的地址；

2：仅向与本地接口上地址匹配的网络进行通告；

lvs 主机：19216856118

RIP主机：也就是需要负载的服务器，19216856101-103

LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统，后来将lvs嵌入到linux内核，叫做ipvs

ipvs参数

保存规则

-S

载入此前的规则：

-R

配置lvs的VIP

确保/proc/sys/net/ipv4/ip_forward 内容是1

调整RS的响应。通告级别（每一台RS都配）：

配置RS的VIP（每一台RS都配）

启动RS上的>

智汇华云 | 负载均衡源地址可见技术

2022-12-13 14:13之家网站 (-)

摘要

在非网关型负载均衡器中，通常使用 FullNat 模式。在这种模式下，客户端访问后端服务器的源 IP 在负载均衡器上会被改变，导致在后端服务器上服务不能正确确定客户端的真实 IP 地址。在一些应用场景下，为了实现安全或者大数据分析等应用，需要感知客户端的真实 IP。本文介绍了一种 FullNat 模式下负载均衡的源地址可见方法。

概述

负载均衡有三种模式：DR，NAT，Tunnel。FullNat 模式在 NAT 模式下增加了源 IP NAT。FullNat 模式的优点：解决了 NAT 对 Director 和 RS 要求在同一个 vlan 的问题，适用更复杂的部署形式不要求配置 Director 作为网关，Director 与 RS 可以通过三层通讯。缺点：RS 看不到客户端真实 IP。

为了解决后端服务器感知客户端真实 IP，本文介绍了如下的方法。

四层源地址可见

四层流量通常是 TCP 和 UDP 协议报文。源地址可见的通常方法是在报文中某些字段携带客户端的真实 IP。在后端通过内核模块来获取客户端 IP。

TCP 源地址可见

TCP 流量是 TOA 来实现源地址可见。TOA 名字全称是 tcp option address，是 FullNat 模式下能够让后端服务器获取客户端 IP 的一种实现方式，它的基本原理比较简单。

客户端用户请求数据包到达负载均衡器时，负载均衡器在数据包的 tcp option 中插入源 IP 信息。

数据包到达后端服务器（装有 toa 内核模块）后，应用程序正常调用 getpeername 系统函数来获取连接的源端 IP 地址。

由于在 toa 代码中 hook（修改）了 inet_getname 函数（getpeername 系统调用对应的内核处理函数），该函数会从 tcp option 中获取负载均衡器填充的源 IP 信息。

这样后端服务器应用程序就获取到了真实客户端 IP，而且对应用程序来说是透明的。

TCP 头部格式如下：

在 option 选项部分携带客户端的 IP 地址。

IPv4 TOA 格式

opcode: opcode = 254

opsize: toa 大小 8 字节

port: 客户端端口

clientIP: 客户端 IP（4 字节）

注：opsize 大小包含了自身 opsize (2B) + port (2B) + ip (4B)

修改 option 的时机

负载均衡器需要对每个 tcp 数据包都要插入 toa 信息么？如果这样会影响到负载均衡器整体性能的，而且后端服务器也没必要对每个 tcp 数据包进行解析，当然也很影响服务器性能。其实只需要在第 3 次握手 ack 数据包中插入 toa 选项即可，后端服务器从 ack 数据包中解析并获取即可。

后端服务器上获取客户端 IP 获取。

TCP 协议栈中处理三次握手的 ack 数据包的函数是 tcp_v4_syn_recv_sock，完成连接的建立，并创建 newsock。在 TOA 内核模块中修改

1hook tcp_v4_syn_recv_sock_toa 函数，从 TCP 的 skb 中获取 tcp option 的携带的 IP 信息，保存到 socket 中

2 Hook inet_getname，应用程序在调用 getpeername 时，会使用 inet_getname_toa 函数处理，从 socket 中将保存的 ip 信息返回

以上就是关于IPVS(LVS)负载均衡简介及实验测试全部的内容，包括:IPVS(LVS)负载均衡简介及实验测试、如何获取客户端ip、attackoccurred攻击源负载均衡地址等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！