linux运维之LVS(一)

linux运维之LVS(一),第1张

关于LVS负载均衡

一、什么是负载均衡:

    负载均衡集群提供了一种廉价、有效、透明的方法,来扩展网络设备和

服务器的负载、带宽、增加吞吐量、加强网络数据处理能力,提高网络的灵活性

和可用性。

二、搭建负载均衡服务的需求:

1)把单台计算机无法承受的大规模的并发访问或者数据流量分担到多台节点设备上

分别处理,减少用户等待响应的时间,提升用户体验。

2)单个重负载的运算分担到多台节点设备上做并行处理,每个节点设备结束后,

将结果汇总,返回给用户,系统处理能力得到大幅度提升。

3)7*24的服务保证,任意一个或多个有限节点设备宕机,要求不能影响业务。

三、LVS的介绍:

    LVS是Linux Virtual Server的简写,即Linux虚拟服务器,是一个虚拟的服务器

集群系统,可以在UNIX/LINUX平台下实现负载均衡集群功能。

    该项目是在1998年5月由章文嵩博士组织成立的,是中国国内最早出现的自由

软件项目之一。

四、关于LVS的配置使用:

    LVS负载均衡调度技术是在Linux内核中实现的,因此,被称为Linux

虚拟服务器。我们使用该软件配置LVS时候,不能直接配置内核中的ipvs,

而需要使用ipvs的管理工具ipvsadm进行管理,ipvs的管理工具ipvsadm管理ipvs。

五、LVS技术点小结:

1)真正实现负载均衡的工具是ipvs,工作在linux内核层面。

2)LVS自带的ipvs管理工具是ipvsadm。

3)keepalived实现管理ipvs及对负载均衡器的高可用。

4)Red hat工具Piranha WEB管理实现调度的工具ipvs。

六、LVS体系结构与工作原理:

1)LVS集群负载均衡接收服务的所有入站客户端计算机请求,并根据调度算法决定哪个集群节点应该处理回复请求。

负载均衡(LB)有时也被称为LVS Director(简称 Director).

2)LVS虚拟服务器的体系结构如下图,一组服务器通过高速的局域网或者地理分布

的广域网相互连接,在他们的前端有一个负载调度器(Load Balancer)。负载调度器能

无缝地将网络请求调度到真正的服务器上,从而使得服务器集群的结构对客户是透明的,

客户访问集群系统提供的网络服务就像访问一台高性能、高可用的服务器一样。客户程序

不受服务器集群的影响不需做任何修改。系统的伸缩性通过在服务集群中透明地加入和删除

一个节点来达到,通过检测节点或服务进程故障和正确的重置系统达到高可用性。由于我们的负载调度技术在

linux内核中实现的,我们称之为linux虚拟服务器(Linux Virtual Server)。

七、LVS社区提供了一个命名的约定:

名称:                              缩写         

虚拟IP地址(Virtual IP Address)    VIP

说明:VIP为Director用于向客户端计算机提供服务的ip地址,

比如:www.etiantian.org 域名就解析到vip上提供服务。

-------------------------------------------------------------------------------

真实ip地址(Real Server ip Address)    缩写:VIP

说明:在集群下面节点上使用的ip地址,物理ip地址。

-----------------------------------------------------------------------------------

Director的ip地址(Director ip Adress)  缩写:DIP

说明:Director用于连接内外网络的ip地址,物理网卡上的IP地址,

是负载均衡上的ip。

-------------------------------------------------------------------------------------

客户端主机IP地址(Client IP Address)  缩写:CIP

说明:客户端用户计算机请求集群服务器的IP地址,该地址用作发送

给集群的请求的源ip地址。

----------------------------------------------------------------

LVS集群内部的节点称为真实服务器(Real server),也叫做集群节点。请求集群服务的

计算机称为客户端计算机。

与计算机通常在网上交换数据包的方式相同,客户端计算机、Director

和真实服务器使用IP地址彼此进行通信。

------------------------------------------------------------------------------------------

八、LVS集群的3种工作模式介绍与原理讲解

1)IP虚拟服务软件ipvs,在调度器的实现技术中,IP负载均衡技术是

效率最高的。在已用的ip负载均衡技术中有通过网络地址转换

(Network Address Translation)将一组服务器构成一个高性能的、高可用的虚拟服务器,

我们称之为VS、NAT技术(Virtual Server Network Adress Translation)。

2)在分析VS/NAT的缺点和网络服务的非对称性的基础上,我们提出通过IP隧道实现虚拟服务器的

方法VS/TUN(Virtual Server via IP Tunneling)和通过直接路由实现虚拟服务

器的方法VS/DR(Virtual Server via Director Routing),它们可以极大地提高系统的伸缩性。

3)淘宝开源的模式FULLNAT。

LVS的四种工作模式:

    缩写及全拼:

NAT(Network Adress Translation)、TUN(Tunneling)、

DR(Director Routing)、FULLNAT(FULL Network address Translation)

-------------------------------------------------------------------------------------------

九、什么是ARP协议:

1) ARP协议:全称"Address Resolution Protocol",中文名地址解析协议,使用ARP协议可

实现通过IP地址获得得对应主机的物理地址(MAC地址)。

  在TCP/IP的网络环境下,每个联网的主机都会被分配一个32位的ip地址,

  这种互联网地址是在网际范围标识主机的一种逻辑地址。为了让报文在

物理网路上传输,还必须要知道对方目的主机的物理地址(MAC)才行。这样就存在把IP地址变成

物理地址的地址转换的问题。

    在以太网环境,为了正确地目的主机传送报文,必须把目的主机的32位IP

地址转换成为目的主机48位以太网的地址(MAC地址)。这就需要在互联层有一个服务或功能将

IP地址转换为相应的物理地址(MAC地址),这个服务或者功能就是ARP协议。

    所谓的“地址解析”,就是主机在发送帧之前将目标IP地址转换成目标MAC地址的过程,

ARP协议的基本功能就是通过目标设备的ip地址,查询目标设备的MAC地址,以保证主机

间互相通信的顺利进行。

    ARP协议和DNS有点相像之处,不同点是:DNS是在域名和IP之间的解析,另外,ARP协议不需要

配置服务,而DNS要配置服务才行。

    ARP协议要求通信的主机双方必须在同一个物理网段(即局域网)!

2)关于ARP的小结:

1.ARP全称“Address Resolution Protocol”;

2.实现局域网内通过IP地址获取主机的MAC地址;

3.MAC地址48位主机的物理地址,局域网内唯一;

4.ARP协议类似DNS服务,但不需要配置服务。

5.ARP协议是三层协议。

--------------------------------------------------------------------------------------------------------

十、ARP缓存表:

1)每台安装有TCP/IP协议的电脑都会有一个ARP缓存表(windows 命令提示符里输入arp -a即可)。

  表里的ip地址与MAC地址是一一对应的。

arp常用命令:

    arp -a :查所有记录

    arp -d :清除

    arp -s :绑定IP和MAC

2)ARP缓存表是把双刃剑:

1.主机有了arp缓存表,可以加快ARP的解析速度,减少局域网内广播风暴。

2.正是有了arp缓存表,给恶意黑客带来了攻击服务器主机的风险,这个就是arp欺骗攻击。

3.切换路由器,负载均衡器等设备时,可能会导致短时网络中断。

3)为啥用ARP协议?

  OSI模型把网络工作分为七层,彼此不直接通信打交道,只通过接口。IP地址工作在第三层,

MAC地址工作在第二层。当协议在发送数据包时,需要先封装第三层IP地址,第二层MAC地址的报头,

但是协议只知道目的节点的ip地址,不知道目的节点的MAC地址,又不能跨第二、三层,所以得用ARP协议服务,

来帮助获取目的节点的MAC地址。

4)ARP在生产环境产生的问题及解决办法:

1.ARP病毒,ARP欺骗

2.高可用服务器对之间切换时要考虑ARP缓存的问题。

3.路由器等设备无缝迁移时需要考虑ARP缓存的问题,例如:更换办公室的路由器。

5)ARP欺骗原理:

  ARP攻击就是通过伪造IP地址和MAC地址对实现ARP欺骗的,如果一台主机中了ARP病毒,

那么它就能在网络中产生大量的ARP通信量,很快的进行广播以至于使网络阻塞,攻击者

只要持续不断的发出伪造的ARP响应就能更改局域网中目标主机ARP缓存中的IP-MAC条目,

造成网络中断或者中间人攻击。

Linux云计算提供了哪些服务

场景1:游戏,lol、csgo、和平精英等基于云计算平台并且动态扩容保持稳定的。

场景2:区块链

区块链技术在国内处于发展阶段,目前最主要就是区块链网站架构的安全,也是云计算的核心。

场景3:智能家居

华为、小米各大厂商的智能家居背后拥有海量数据,需要用处理分析的结果来用保障用户最好的体验并满足用户需求,业务数据处理支撑的背后就有分布式的存储和大数据的分析。

场景4:网络直播

B站直播、抖音直播、淘宝直播各种直播与直播带货背后都是千台到万台服务器支撑,批量维护升级,流量控制,自动化管理。

场景5:网络安全

之前我们的安全都是通过硬件防火墙,开源防火墙实现,在日益强大的互联网背景下,大流量和高并发场景是安全的新难题,我们需要云计算分流与行为检测,最终保证安全。

场景6:5G通讯

之前4G时代互联网网站和传统PC网站是类似的,到了5G时代,网站要应对大流量访问、各种缓存、消息队列,CDN架构等问题,必须用云计算来解决此类问题。

场景7:云手机,云电脑

从2020年火爆的云手机,云电脑从根本上解决每个人手机,电脑性能不统一的问题。你只需要一台可以上网的"显示器",去连接使用云手机/云电脑,云手机/云电脑背后核 心技术就是云计算。

场景8:物联网架构

IoT (Internet of Things) 物联网,让万物通过网络连接,智能家居,无人驾驶,这些物联网的架构,其背后的平台都是云计算平台和云服务器。

推荐理由1:国家大力支持

自 2017 年工信部《云计算发展三年行动计划(2017-2019 年)》发布后,地方政府不断出台政策积极推动企业上云,企业对于云计算的需求规模将快速扩大,有利于云计算的快速发展。

国家层面:2020 年全国新增上云企业 100 万家

地方层面:2020 年 19 个省市新增上云企业 130.3 万家

推荐理由2:岗位重要、不可或缺

2010年1月12日上午7点百度的服务器被攻击,五个小时损失超过1个亿,在这次长达5小时的被黑事件中,对数十万的百度企业客户造成心理上的负面影响,甚至在被黑客连续的攻击下无法持续经营,破产关门。

2017年12月7日11时左右,美团服务器出现大面积崩溃,包括外卖、团购在内的业务均受到影响,仅仅十分钟左右损失1200万。

推荐理由顺3:顺应时代发展背景

计算机发展到现在先后经历了硬件时代----网络时代----应用软件时代----移动互联网时代----互联网+时代----大数据时代,目前已经进入云计算、人工智能、5G、物联网、信息安全时代。

linux属于大数据,5G、人工智能、物联网的基础架构,也是信息安全系统的重要保障,互联网浪潮一波又一波走向成熟,但始终没有撼动Linux的核心位置。

推荐理由4:竞争小、工资高

截止2020年底,全国共有普通高等院校2688所,高等教育在学4002万。其中在学博士42.42万,在学硕士243.95万,普通本专科在校生3031.53万,五年制专科46万,专升本31.75万,成人专本科,自考,网络教育,开放教育共计606万左右。

几乎每所大学都有开设计算机相关专业,计算机专业必学开发语言,语言以C,C++,JAVA,网络技术为主,Python主要以选修课的方式存在,Linux科目在大学计算机系无论计算机科学与技术,软件工程,计算机网络,信息管理与信息系统均没设置Linux的专业, 大部分人都集中在高手如云的开发领域工作,竞争激烈。

Linux由于稀缺性,人才少,岗位重要,企业在招聘难,为了招到专业性人才,不得不降低学历要求,提高待遇。这也是IT行业为数不少的不看重学历看中技能的岗位,当然,大公司或者从事技术管理类型的岗位,学历也要求越来越高了。

推荐理由5:上手容易,能快速掌握

作为IT工作的从事者,我们的终极目标是CTO或者架构师的岗位,作为一个合格的架构师,开发和Linux运维都是必不可缺少的技能,先学习开发后学习运维,对于高学历和计算机专业人士,适合爬这样的陡坡,对于低学历和转行的朋友,先运维后开发,适合爬这样的缓坡,平稳过渡。

众所周知,开发需要良好的英语和逻辑能力,加减乘除与或非,矩阵,排列,组合,线性代数,统计学都少不了。但是Linux常见的命令200个左右,更多的是以技术解决方案为导向去实 *** ,容易记忆掌握。

IT行业我们可以理解为一个大的超市,我们的目标都是想要进入这个超市,做开发就是走前门,人员多,不容易进入。

做Linux就是从后门进,人少,更容易进入。等进入IT行业之后我们可以凭借自己的优势,盘点自己的资源,选好方向进一步提高自己,相信每个人都会得到自己想要的结果。

推荐理由6:职业路径广

职业路径1:Linux运维-Linux高级运维工程师-DBA-DBA专家-DBA大师

职业路径2:Linux运维-Linux高级运维工程师-Linux云计算高级运维工程师-网站架构师-CTO

职业路径3:Linux运维-Linux高级运维工程师-自动化运维工程师-自动化开发工程师(需要会Python)

职业路径4:Linux运维-安全运维工程师-安全运维管理岗-企业IT安全顾问

掌握以下技术就可以做

若要从事Linux相关的工作,需要掌握以下知识结构

Linux基础命令

Linux基础服务

Linux web服务

Linux web服务深入

大规模服务器自动化

消息队列

ELK日志中心

数据库DBA内容

分布式版本控制Git

公有云运维技术

私有云技术Openstack

Ceph分布式存储技术

Zabbix+Grafana监控项目

k8s及安全

python自动化开发

总结:只要是有服务器的公司都离不开Linux运维,小到几人的公司,大到百度,腾讯,阿里,滴滴,美团、中国银行、太平洋保险等大型公司,运维在IT部门的作用是无法替代的。他们保障着服务器,系统,数据库,云计算的平台安全、稳定、可靠的运行,是值得尊敬的幕后的英雄。

《Linux集群和自动化运维》(余洪春)电子书网盘下载免费在线阅读

资源链接:

链接: https://pan.baidu.com/s/1AIhS7QAAYDc3tV9O8bAM0g

提取码: wf42  

书名:Linux集群和自动化运维

作者:余洪春

出版社:机械工业出版社

出版年份:2016-8

页数:357

内容简介:

本书是Linux运维领域公认的经典畅销书《构建高可用Linux服务器》的姊妹篇,是积笔者多年的经验结晶和*佳实践,也是笔者多年以来的一线运维工作的总结和心血。

本书最大的特点就是与实践紧密结合,所有理论知识、方法、技巧和案例都来自实际环境,涵盖了生产环境下的Shell和Python脚本、Pupet自动化配置管理及Python自动化运维(Fabric及Ansible)、高可用Linux集群构建及亿级PV网站架构设计等主题。笔者在传统运维的基础上,结合了现阶段最流行的AWS云计算运维技术,跟大家分享了流行的Linux集群和自动化运维知识体系,方便大家结合自己的实际工作场景来设计自己网站的系统架构。

作者简介:

余洪春(抚琴煮酒),高级运维架构师、资深运维工程师,在电子商务领域及云计算领域工作10多年,在Linux集群、自动化运维、DevOps及高并发高流量网站架构设计等方面进行了深入的研究;在大量一线实践中积累了丰富的经验。精通负载均衡高可用和Python自动化运维技术,擅长高流量高性能网站架构设计。51CTO和ChinaUnix等知名社区特邀专家,ChinaUnix论坛“集群和高可用”及“监控及自动化运维技术”版版主,在社区内发表了大量技术文章,深受社区网友好评。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/yw/8120638.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-13
下一篇 2023-04-13

发表评论

登录后才能评论

评论列表(0条)

保存