导读:Redis是被广泛使用的基础软件之一。对于工程师和,架构师,运维人员来说,了解Redis的高可用方案和背后的原理,是必备的基础知识。本文作者深入分析了Redis高可用的方方面面,并且做了有效总结,相信对广大读者可以起到很好的领路作用。
作者 codedump codedumpinfo 博主,多年从事互联网服务器后台开发工作。可访问作者博客阅读 codedump 更多文章。
Redis中为了实现高可用(High Availability,简称HA),采用了如下两个方式:
Redis中主从节点复制数据有全量复制和部分复制之分。
全量复制使用snyc命令来实现,其流程是:
旧版本全量复制功能,其最大的问题是从服务器断线重连时,即便在从服务器上已经有一部分数据了,也需要进行全量复制,这样做的效率很低,于是新版本的Redis在这部分做了改进。
新版本Redis使用psync命令来代替sync命令,该命令既可以实现完整全同步也可以实现部分同步。
执行复制的双方,主从服务器,分别会维护一个复制偏移量:
主服务器内部维护了一个固定长度的先进先出队列做为复制积压缓冲区,其默认大小为1MB。
在主服务器进行命令传播时,不仅会将写命令同步到从服务器,还会将写命令写入复制积压缓冲区。
每个Redis服务器,都有其运行ID,运行ID由服务器在启动时自动生成,主服务器会将自己的运行ID发送给从服务器,而从服务器会将主服务器的运行ID保存起来。
从服务器Redis断线重连之后进行同步时,就是根据运行ID来判断同步的进度:
有了前面的准备,下面开始分析psync命令的流程:
前面两种情况主服务器收到psync命令之后,会出现以下三种可能:
Redis使用哨兵机制来实现高可用(HA),其大概工作原理是:
以上将Redis节点分为两类:
以上是大体的流程,这个流程需要解决以下几个问题:
以下来逐个回答这些问题。
哨兵节点通过三个定时监控任务监控Redis数据节点的服务可用性。
每隔10秒,每个哨兵节点都会向主、从Redis数据节点发送info命令,获取新的拓扑结构信息。
Redis拓扑结构信息包括了:
这样,哨兵节点就能从info命令中自动获取到从节点信息,因此那些后续才加入的从节点信息不需要显式配置就能自动感知。
这一 *** 作实际上完成了两件事情: 发现新的哨兵节点:如果有新的哨兵节点加入,此时保存下来这个新哨兵节点的信息,后续与该哨兵节点建立连接。 交换主节点的状态信息,作为后续客观判断主节点下线的依据。
每隔1秒,每个哨兵节点向主、从数据节点以及其他sentinel节点发送ping命令做心跳探测,这个心跳探测是后续主观判断数据节点下线的依据。
上面三个监控任务中的第三个探测心跳任务,如果在配置的down-after-milliseconds之后没有收到有效回复,那么就认为该数据节点“主观下线(sdown)”。
为什么称为“主观下线”?因为在一个分布式系统中,有多个机器在一起联动工作,网络可能出现各种状况,仅凭一个节点的判断还不足以认为一个数据节点下线了,这就需要后面的“客观下线”。
当一个哨兵节点认为主节点主观下线时,该哨兵节点需要通过”sentinel is-master-down-by addr”命令向其他哨兵节点咨询该主节点是否下线了,如果有超过半数的哨兵节点都回答了下线,此时认为主节点“客观下线”。
当主节点客观下线时,需要选举出一个哨兵节点做为哨兵领导者,以完成后续选出新的主节点的工作。
这个选举的大体思路是:
可以看到,这个选举领导者的流程很像raft中选举leader的流程。
在剩下的Redis从节点中,按照以下顺序来选择新的主节点:
选择了新的主节点之后,还需要最后的流程让该节点成为新的主节点:
原文地址:
>你好呀,我是why。
刚刚过去的周末你干啥了,是卷起来了,还是躺平了?
我其实是想躺平的,但是无意间发现一个学习的网站,居然被这个网站吸引了,然后就跟着网站卷起来了。
真是一个非常不错的网站,好东西,要大家分享,于是我决定“曝光”一下。
介绍这个网站之前,我先问你一个问题:
我相信绝大部分同学都是知道的,但是也有很大一部分同学仅仅是在“纸上谈兵”的阶段而已。
没有自己实际 *** 作过。
为什么呢?
我猜你刚刚知道 Arthas 的时候,肯定是被它各种炫酷的 *** 作、页面给吸引到了。
心想:卧槽,这么 6?
兴致勃勃的准备实 *** 一把,结果一看:需要自己搞个 Demo ,把 Demo 扔到服务器上运行起来,然后在服务器上安装 Arthas,才能分析。
这一套 *** 作对于大部分人来说是没有啥问题的。
但是还是有相当大的一部分同学,都没有一个属于自己的服务器。
巧妇也是难为无米之炊的呀。
第一步就被卡的死死的。
有心实 *** ,奈何条件有限。
于是这事就被搁浅了,放着放着,由于自己没有实 *** 过,关于 Arthas 的各种骚 *** 作也就忘的差不多了。
没有一个趁手的 Demo,没有服务器,没有一个安装好环境的服务器。
这种问题经常出现,也算是学习中遇到的“最后一公里”的问题。
我碰到的这个网站,就是为了解决“最后一公里”这一问题的。
也许它还不够完善,但是至少在 Arthas 上的支持已经是属于无可挑剔了,真正的手摸手教学。
铺垫了这么多,那么网站是啥呢?
就是下面这个网站:
知行动手实验室,是阿里旗下的阿里云弄出来的云原生开源技术体验平台。
它自带运行环境。
使用者只需要关心教程内容本身,无需为繁琐的运行环境准备工作浪费时间。所有实验都在一个事先准备好运行环境的容器中运行。
它具有沉浸式学习体验。
集交互式文档、终端、编辑器三个窗口于一个浏览器页面,无需在多个窗口来回复制粘贴。
它可以一键自动执行命令、代码自动修改。
文档实时可交互,通过鼠标点击即可一键自动执行命令、代码自动修改等 *** 作;也可以选择在终端、编辑器内手动输入查看效果。
我知道,这里的画风看起来很像是一个广告。
但是我发誓,我真的是自来水,真心推荐。
知行动手实验室,看这个名字就知道强调的是“行知合一”,是“动手”。
我曾经看到过阿里的一篇名叫《我看技术人的成长路径》的文章。
但是实际情况呢,我们不得不承认,大家自学占据了相当大的比重。
而大家自学的时候都有一个通病就是:只看、只想,基本不动手。
关于动手,我印象最深的就是我看这本书的时候:
我记得看这本书的时候,是我刚刚毕业一年多的时候。
当时觉得技术书还挺贵的,还是和同事一起合买的,一人出一半的钱,书放在办公室大家一起看看。
我那个时候一有时间就去翻翻这书。
第一次看的时候感觉:哇塞,这真是一本好书啊。里面全是我不知道的知识点。
但是看完之后,没隔多久,遇到一个问题然后想了半天:呃,这个问题书上好像讲过啊,怎么就想不起来了呢?
于是我就问同事:你是怎么看这个书的呀?我前段时间把书每一页都翻完了,但是现在好多东西都想不起来了。
他告诉我:首先得多看,书中的信息量对你来说还是太大了,看一遍吸收不完全是很正常的。还有,书里面的这么多动手 *** 作的实例,你跟着敲了没?我都 *** 作了一遍,遇到了各种各样的坑。印象自然而然的就深刻了一点。
可谓是一语点醒梦中人,我确实是没有实 *** 过。
不仅没有实 *** 过,甚至一看到实 *** 部分的具体命令,我都是几眼就瞟完了,因为我觉得这部分不重要。
后来我又看了一遍,看这遍的时候,我搞了几个服务器,就跟着书上,把上面的命令都敲了一遍。
进度慢了很多很多,但是吸收的东西也多了很多很多。
过去这么几年了,时至今日,我都记得周末的时候我跑到公司去翻这本书的场景。我都记得我跟着书上搭建集群的时候遇到的各种各样奇奇怪怪的问题。我都记得那 16384 个槽,还有那我怎么也运行不起来的 redis-tribrb。
我都记得几年以后的一次,面试官问我:你了解 Redis 的集群吗,你自己搭过集群吗?
我当然记得了,毕竟之前那个只有一年经验的小伙子硬着头皮搭集群的时候,心态都被搞崩过数次。
还有近段时间断断续续在看的《MySQL实战45讲》、《MySQL是怎样运行的》、《高性能MySQL》。
里面其实都有大量的实例,特别是 45 讲,好东西呀,老师全是基于案例去讲的。
我看的时候也看的很慢,反正不管懂不懂,先动手开几个窗口,然后把实验的 SQL 准备好,跟着老师一步步的来。
总之,就是要动手。动手,才是学习新技术的不二法门。
做中学,就是动手去做,边做边学。
但是动手的时候大多数时间都是在环境的准备上,导致效率稍微有了那么一点点的低下。
而这个网站,就在部分项目上,解决了这个问题。
回到知行动手实验室,带大家一起逛一下这个网站。
说真的,目前这个网站的东西不算特别多,也就是花费了我一个周末的时间研究了一圈。
主要是里面还有一些我不太了解的开源项目,去了解了一下,开拓了一下眼界。
主打的都是阿里生态下的一些技术栈,目前一共有 16 个教程:
可以看到,首先映入眼帘的就是 Arthas 这个诊断工具,毕竟是阿里的亲儿子中比较有出息的一个嘛。
全力推广,不过分。
Arthas 其中分为了四个教程,从入门到实践一应俱全。
接着是 Spring Cloud Alibaba 系列体验:
里面的六个小实验,其中分布式配置、服务注册与发现都是基于 Nacos 做的。 RPC 调用使用的是 Dubbo Spring Cloud、限流与熔断基于 Sentinel、分布式事务使用 Seata、分布式消息基于 RocketMQ。
基本涵盖了微服务开发的主要模块。
算的上是一次完整的体验。
当然了,还有一些其他的 RocketMQ、Dapr、Dubbogo、ChaosBlade、k8s 的实 *** 教程,就不一一解释了。
大家知道目前里面有这些东西就行。
上面提到的大家可能对于 Dapr 和 ChaosBlade 稍微陌生一点。
简单的说一下。
Dapr 的全称是 Distributed Application Runtime,翻译过来就是分布式应用运行时。
它主要是为了云原生而服务的。
应该是属于服务网格中的一种技术,是一种运行时,支持k8s,目的是为了更好的隔离业务,让业务更少的感知中间件等基础建设。
其实与它对标的,应该就是 istio 架构。
需要注意的是 Dapr 是由微软发起的一个开源项目,并不是阿里。
阿里是 Dapr 开源项目的深度参与者和早期采用者,相当于是对于 Dapr 的一个国内大厂背书。
而 ChaosBlade 就是阿里巴巴开源的一款遵循混沌工程原理和混沌实验模型的实验注入工具,帮助企业提升分布式系统的容错能力,并且在企业上云或往云原生系统迁移过程中业务连续性保障。
引用其 git 上的描述:
该项目的生态如下:
目前支持这么多场景:
比如在知行动手实验室里面就有三个实验场景:
总之,关于 ChaosBlade 你就记住一句话:
它是来搞破坏的。给系统或者系统运行的环境注入各种各样的故障,以测试并提升系统的稳定性和高可用性。
在知行动手实验室里面,除了前面提到的官方教程外,它还支持大家自己上传教程。
下面这几种情况就很适合在上面发布教程:
你想想,要是我前面提到的《Redis开发与运维》书里面的随书实验能发布到这里,那岂不是美滋滋?
学习效率肯定又高了起来。
教程,是该实验室的一大核心功能。
但是,它还有另外一大功能:
Java 工程脚手架,下面的标语是:
更适合亚太区开发者的 Java 工程脚手架。
虽然我目前还不明白为什么是“更适合亚太区”,但是反正听着就很厉害的样子。
其页面是这样的,是不是很眼熟?
一看就是对标的大家更为熟悉的这个:
但是通过我的实际使用,我不得不说,还是阿里的脚手架更好用一点。
比如我用阿里的脚手架,搭建的时候选择一个 web 项目的示例代码:
该项目结构如下:
而且这个 web 项目不需要改一行代码,甚至不需要你启动数据库,就能直接运行起来。
因为其使用的 h2 数据库:
运行起来后,访问 h2 控制台如下:
虽然 Demo 项目运行的过程中我发现了几个 bug,但是整体无伤大雅,修改起来也很简单,对于初学者来说,还是很友好的。
在这个页面我还发现了一个叫做 COLA 的项目架构:
COLA 是啥玩意?
我在官网上拉了一个 COLA 的 Demo,跑了起来,项目结构如下:
官方给了这样的一个代码结构图:
看到这里的时候,我大概明白了,有 App 层、Domain 层、 Infrastructure 层,这个架构其实就是 DDD 思想的一种落地吧。
经过这两天短暂的了解,我发现如果想要理解一下抽象的 DDD 思想,那么 COLA 架构,我感觉是一个不错的切入点。
前面介绍了这么多东西,我还是来带着你实 *** 一把,里面的黄金教程:
其实我觉得真的没有这个必要,因为它上面的教程已经是一步步的手摸手教学了。
比如,你看这个 Arthas 基础教程,我给你录个屏幕:
左边是 *** 作文档,右边是运行环境。所及即所得,多香啊。
我是强烈建议你把四个教程都自己去看一遍, *** 作一把。
但是重心可以放到这个教程里面:
你看看这个教程里面的 14 个实验:
比如其中的“Arthas热更新代码案例”,这个其实就是一个生产环境常常会遇到的一个问题:
有一个判断逻辑有问题,我不想修改代码之后,重新打包,然后走上线流程,怎么办?
Arthas 热更新了解一下?
比如,下面的代码:
现在当请求的 id 小于 1 的时候会抛出异常。但是上线之后,我们经过评估发现这个地方也许返回一个默认的值,不抛出异常会更好一点。
那么我们就可以用 Arthas 对这段代码进行热更新。
左边是修改之后,右边是修改之前:
具体怎么去修改,怎么去用 ClassLoader 加载修改之后的代码,这个案例里面都有详细的使用说明:
当然了,如果你要是在实 *** 之后,又再去了解了其热更新背后的工作原理,那么是再好不过的了。
知道了使用方式,掌握了实现原理。恭喜你,再给自己的套一个生产案例,不经意间面试的时候有多了一个加分点。
另外,悄悄的说个骚 *** 作。
你可以随便找个教程,领个窗口,然后
比如我装个 Redis:
用起来也是不错的:
而且它也支持文件的上传和下载:
诶,反正就是玩嘛。就当熟悉 Linux 命令了。
多哨兵监控Redis
首先配置Redis的主从服务器,修改redisconf文件如下
上述内容主要是配置Redis服务器,从服务器比主服务器多一个slaveof的配置和密码。
配置3个哨兵,每个哨兵的配置都是一样的。在Redis安装目录下有一个sentinelconf文件,copy一份进行修改。
上述关闭了保护模式,便于测试。
有了上述的修改,我们可以进入Redis的安装目录的src目录,通过下面的命令启动服务器和哨兵
注意启动的顺序。 首先是主机(19216811128)的Redis服务进程,然后启动从机的服务进程,最后启动3个哨兵的服务进程。
如果主机宕机后,启用新的主机,原来的主机回归后,会作为从机。
从单个实例配置到哨兵:
为了将一台服务器进行关机和重启,您可以按照以下步骤进行 *** 作:
关闭所有正在运行的 Redis 实例。
使用以下命令将需要关机的服务器加入集群:
Copy coderedis-cluster add-node <服务器 IP>:<端口>其中 <服务器 IP> 是需要加入集群的服务器 IP 地址,<端口> 是该服务器的 Redis 端口号。
使用以下命令将需要重启的服务器从集群中移除:
Copy coderedis-cluster remove-node <服务器 IP>:<端口>其中 <服务器 IP> 是需要移除集群的服务器 IP 地址,<端口> 是该服务器的 Redis 端口号。
关机并重启需要关机的服务器。
Copy codesudo systemctl stop <服务器名称> sudo systemctl restart <服务器名称>其中 <服务器名称> 是需要关机和重启的服务器名称。
检查 Redis 集群是否正常工作。
您可以使用以下命令检查 Redis 集群是否正常工作:
Copy coderedis-cluster status如果一切正常,则应该可以看到所有服务器的状态都为 "Online"。
请注意,在 *** 作 Redis 集群时必须非常小心,以免误 *** 作导致数据丢失。如果您不确定如何 *** 作 Redis 集群,请寻求专业人员的帮助。
Try again
7站VPS导航为您回答 选购VPS上>
云计算是与信息技术、软件、互联网相关的一种服务,这种计算资源共享池叫做“云”,云计算把许多计算资源集合起来,通过软件实现自动化管理,只需要很少的人参与,就能让资源被快速提供。也就是说,计算能力作为一种商品,可以在互联网上流通,就像水、电、煤气一样,可以方便地取用,且价格较为低廉。
云计算跟传统的应用网络相比有虚拟化、按需购买、高可用、性价比高等特性,很多中小型公司逐渐将自己的业务服务部署到云上,大型的公司可以通过专有云或者混合云将业务上云。
云计算是建立在先进互联网技术基础之上的,其实现形式众多,主要通过以下形式完成:
1)基础设施即服务(IAAS),主要涉及到云计算底层服务,将机房服务、网络服务、服务器硬件服务等打包虚拟化,将虚机、物理机、SDN等服务提供给客户,可以按月、按计算资源(CPU、内存等)等购买,实现按需购买,为中小型公司节约IT服务成本。基础设施前期投入比较大,目前再IAAS服务的公司就几个大公司,阿里巴巴的阿里云,腾讯的腾讯云,京东的京东云。
2)平台即服务(PAAS),主要涉及到中间件服务,在IAAS服务的上层,将数据库服务,缓存redis服务,消息队列服务,API网关服务,CDN服务等打包服务资源,客户可以轻松的接入这些服务,按流量、存储空间等购买,实现按需付费。
3)软件即服务(SAAS),最上一层服务,在PAAS服务的上层,主要将业务流程实现云化,比如云erp,在线笔记服务,用户只需要注册一个账号、登录一个页面就使用服务,这类公司比较多,未来这类提高SAAS服务公司会百花齐放的。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)