nginx的tcp透明代理设置

目前，接入层access使用nginx作为反向代理。客户端连接nginx打开的5000端口后，nginx通过客户端ip哈希的方式，将客户端的接入请求负载均衡到后台的4个access服务。
使用nginx作为反向代理时，客户端与nginx直连，同时nginx为每一个客户端连接建立了单独的tcp连接到access服务。此时，nginx代理带来的问题是，access无法获取到客户端的真实ip，而只能拿到nginx代理服务所在机器的ip。（所有的代理都有类似的问题，因为与上游服务（例如这里的access服务）连接的实际上是代理服务器，ip包里的ip地址是代理服务器的地址）。
但是，很时候我们需要拿到客户端的真实ip做一些业务上的判断。这个时候，就需要通过某些方式获取客户端的真实ip。如果代理服务器和上游服务之前是通过>简单的说两种方案：
1，一台 nginx 服务器做反向代理，第二台文件服务器，第三台做数据库服务器
2， 一台 nginx 脚本服务器，第二台做主库数据库服务器，第三台做从库数据库服务器加静态服务器。
这三台服务使用一个静态 IP，它们之间的关系为局域网，主服务器挂静态IP，nginxconf 设置域名 sever，访问直接到主服务器，主库数据库服务器限制数据库的读权限，端口为3306，从库数据库限制写权限，端口为 3307；两台数据库服务器进行数据同步，实现数据库读写分离，从库挂载网站静态内容，如 CSS ,JS, images, flash 等静态文件，实现动静分离。
集群的作用主要就是负载均衡，分流负压流量，数据库读写分离也是为了减缓数据库读写压力，动静分离的好处自然是更科学地规划文件分类，便于服务器文件的管理。
但一般来说，这些静态的东西全部用第三方的 SDN 来负载掉。

原因：是Nginx配置文件中，超时时间太短了：proxy_connect_timeout20。。在Nginx的默认配置是：在客户端请求服务器超时的情况下，Nginx会自动转发该请求到另外一台服务器上，这是Nginx的一种容错机制，所以Nginx的访问日志中会出现同一条请求而两台服务器都执行了一遍的情况，这样以来，程序如果没有做幂等性 *** 作的话数据库会出现两条记录。

相比于nginx只能用于7层负载均衡，LVS就比较强大了，能在4层做负载均衡。而且性能和稳定性上LVS也比较占优，毕竟是合入内核模块，不稳定肯定不行。

LVS通过工作于内核的ipvs模块来实现功能，其主要工作于netfilter的INPUT链上。除此之外，还需要一个用户态工具，ipvdadm，用于用户负载集群定义和集群服务管理。

LVS DR模式的流程大概如下：
1、客户端发送请求至VIP，也就是访问服务，请求报文源地址是CIP，目标地址为VIP；

2、LVS调度器接收到请求，报文在PREROUTING链检查，确定目的IP是本机，于是将报文发送至INPUT链，ipvs内核模块确定请求的服务是我们配置的LVS集群服务，然后根据用户设定的均衡策略选择某台后端RS，并将目标MAC地址修改RIP的MAC地址。因为调度器和后端服务器RS在同个网段，因此直接二层互通，将请求发给选择的RS处理；

3、因为报文目的mac是本机，且RS上有配置VIP，因此RS能接收该报文。后端服务处理完请求后，将响应直接发往客户端，此时源IP地址为VIP，目标IP为CIP。

如下，准备三台服务器，

机器 作用

1921680100 VIP，LVS调度器对外服务IP

1921680200 RIP，后端web服务器之一

1921680300 RIP，后端web服务器之二

上面我们说过lvs依赖于ipvs内核模块，和ipvsadm用户态工具。因为centos 7已经默认加载ipvs模块，因此这一步我们不需要配置。我们只需要安装ipvsadm工具即可，

yum install -y ipvsadm

然后在LVS调度器上配置VIP，这里我们采用虚拟网卡，当然也可以使用独立网卡配置，

ifconfig eth0:0 1921680100/24 up

接着配置LVS集群服务，

[root@CentOS-7-2 ~]# ipvsadm -C

[root@CentOS-7-2 ~]# ipvsadm -A -t 1921680100:80 -s rr

[root@CentOS-7-2 ~]# ipvsadm -a -t 1921680100:80 -r 1921680200:80 -g

[root@CentOS-7-2 ~]# ipvsadm -a -t 1921680100:80 -r 1921680300:80 -g

其中，

第一条命令是清空所有规则；

第二条命令是定义LVS服务，并指定负责均衡策略为rr，即轮询；

第三、四条命令各添加一台后端web服务器，作为负载均衡节点，并指定为DR模式。

ipvsadm基本命令参数如下：

-A  指定添加的LVS负载均衡虚拟服务

-t  指定虚拟服务器的IP地址和端口

-s  指定调度算法，ss为轮询，wrr为加权轮询，dh为目标地址散列，sh为源地址散列，lc为最少链接等

-a  在对应的VIP下添加RS节点

-g  指定LVS的工作模式为DR模式

-l  指定LVS的工作模式为tunnel模式

-m  指定LVS的工作模式为NAT模式

添加完后端RS，我们可以查看此LVS对应的均衡规则，

[root@CentOS-7-2 ~]# ipvsadm -Ln

IP Virtual Server version 121 (size=4096)

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port          Forward Weight ActiveConn InActConn

TCP  1921680100:80 rr

  -> 1921680200:80            Route  1      0          0       

  -> 1921680300:80            Route  1      0          0

这里web服务器使用nginx搭建，因此在两台RS上安装nginx，

yum install -y nginx

同时为了后面测试，我们修改web服务器的indexhtml内容，

[root@192_168_0_200 ~]# cat /usr/share/nginx/html/indexhtml

This is 1921680200

[root@192_168_0_300 ~]# cat /usr/share/nginx/html/indexhtml

This is 1921680300

接着开始进行LVS相关配置，

首先将VIP配置在lo接口上，(注意掩码要配置成32位，不然RS通信会出问题)

ifconfig lo:0 1921680100/32 up

接着配置对应路由，

route add -host 1921680100 dev lo

然后设置相关系统参数，

echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce

echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

其实严格意义上只要配置出口网卡的对应参数就可以了，配置all也只是为了保险而已，文章最后面会有说明。

使用curl命令对vip进行访问，

[root@CentOS-7-3 /home]# curl  >

分布式：服务分散部署在不同服务器组成一个整体应用，分散压力，解决高并发。

假设访问量特别大，就可以做成分布式，将一个大项目拆分出来单独运行。跟cdn一样的机制。

Redis分布式：将redis中的数据分布到不同的服务器上，每台服务器存储不同内容。Mysql集群是每台服务器都存放相同数据。分布式部署：系统应用部署在2台或以上服务器或虚拟机上，服务间通过RPC、WCF(包含WebService）等交互，即可称作分布式部署。微服务也算作分布式的一种，反之则不然。分布式优点:1、将模块拆分，使用接口通信，降低模块之间的耦合度。2、将项目拆分成若干个子项目，不同团队负责不同子项目。3、增加功能时只需再加一个子项目，调用其它系统接口即可。4、可灵活进行分布式部署。5、提高代码的复用性，比如service层，如果不采用分布式rest服务方式架构，在手机Wap商城、微信商城、PC、Android、ios每个端都要写一个service层逻辑，开发量大，难以维护和一起升级，此时可采用分布式rest服务方式共用一个service层。缺点：系统之间交互要使用远程通信，接口开发增大工作量，但利大于弊。微服务：可单独部署运行的微小服务，一个服务只完成单一功能分散能力，服务之间通过RPC等交互，至少有一个数据库。用户量过大高并发时，建议将应用拆解为多个子系统，各自隔离，独立负责功能。缺点：服务数量大，后期运维较难。分布式、微服务区别：分布式依赖整体组合，是系统的部署方式；微服务是架构设计方式，粒度更小，服务之间耦合度更低。独立小团队负责，敏捷性更高。集群：多台服务器复制部署相同应用，由负载均衡共同对外提供服务，逻辑功能仍是单体应用。项目如果跑在一台机器上，这台机器如果出现故障，或者用户请求量比较高一台机器支撑不住，网站可能就访问不了。那怎么解决呢？就需要使用多台机器，复制部署一样的程序，让几个机器同时运行网站。那怎么分发请求到所有机器上？所以负载均衡的概念就出现了。负载均衡：将请求分发以分摊服务器压力。基于反向代理能将所有的请求根据指定的策略算法，分发到不同的服务器上。实现负载均衡常用Nginx、LVS。负载均衡服务器出现问题了怎么办？所有冗余的概念就出现了。冗余：两台或多台服务器，一个主服务器，一个从服务器。假设一个主服务器的负载均衡服务器出现问题，从服务器能替代主服务器来继续负载均衡。实现的方式就是使用Keepalive来抢占虚拟主机。双机双工模式：目前Cluster（集群）的一种形式，两台服务器均为活动状态，同时运行相同的应用，保证整体的性能，也实现了负载均衡和互为备份。WEB服务器或FTP服务器等用此种方式比较多。实现多台服务器代码（文件）同步方案：1、负载均衡中实现代码同步rsync。2、rsync+inotify逐一文件监听并实时同步。3、实现redis共享session。

---