Redis集群缓存方案,缓存常见问题盘点

Redis集群缓存方案,缓存常见问题盘点,第1张

如今,缓存系统的应用非常广泛,能够用来提高并发数、数据吞吐量,提高快速响应能力。那么当数据量达到一定程度,单机环境可能就显得有些力不从心了,就需要一个分布式缓存系统。

1.缓存系统的选择

Redis集群缓存方案,缓存常见问题盘点,pIYBAF_ZdauALjEcAAGTktttrTM015.png,第2张

图1-1

1.1缓存分类

如上图所示,首先缓存大致可以分为四大类。

CDN缓存:CDN即内容分发网络,CDN边缘节点将数据缓存起来。

反向代理缓存:如Nginx的缓存。

本地缓存:代表的有EhCache和GuavaCache。

分布式缓存:各缓存系统。

1.2分布式缓存

本文主要探讨各分布式缓存系统,如图1-1所示,列出了五种:

其中EvCache和Aerospike使用场景不是那么通用和广泛。

EvCache:是Netflix的基于Memcached&Spymemcached的缓存方案。

Aerospike:是可基于SSD的KVNoSQL数据库

除此之外,还有三种常见缓存系统。

Redis集群缓存方案,缓存常见问题盘点,pIYBAF_ZdbSASdz5AAIq0jPUpc8872.png,第3张

Tair:阿里开源,跨机房、性能随结点添加线性上升、适用大数据量。Tair还有三种引擎。

LDB:基于googlelevelDB,支持KV和类HashMap结构,性能稍低,持久化可靠性最高。

MDB:基于Memcache,支持KV和类HashMap,性能最优,不支持持久化存储。

RDB:基于Redis

Memcache:不支持数据同步、分布式支持较差。

Redis:社区活跃、使用最多。

综上所述,在一般情况下,考虑到适用性和稳定性,Redis是搭建缓存系统的最优选择。以下将基于Redis介绍。

2.Redis集群缓存方案

如顶部图1-1所示,列出了Redis的集群高可用的方案,基本可以分为三种。

2.1主从机制

常见的集群架构,搭建简单,主要实现读写分离和备份,可以由Master负责读写,Slave负责备份。但存在故障恢复复杂、水平拓展难、写能力受限等问题。结构图如下:

2.2哨兵机制

RedisSenTInel是社区版本推出的原生高可用解决方案。由一或多个哨兵实例监视任意个主从服务器,且在Master宕机时,自动将宕机服务器属下的Slave服务器升级为主服务器,从而保证系统的可用性。较主从实现的监控、选主。但问题主要是要保证Master的HA切换。结构图如下:

2.3“分布式”

到这里以上两种机制其实只能算作“集群”,并非严格意义上的“分布式”。接着来看看分布式方案。

集群强调高可用,分布式在集群的基础上又强调协作。

3.Redis分布式缓存方案

任何分布式存储系统,首先面临的就是sharding(分片)问题,如顶部图1-1所示该问题有为三种解决方法。

3.1客户端分片

顾名思义,将数据分片的路由功能交给客户端,但这是一种静态分片,维护性差。基本是不予考虑的。

3.2代理分片

通过代理分发到具体的redis实例。有两个常用解决方案。

Twemproxy:Twitter开源,轻量级,不再维护,无法平滑地扩容/缩容,运维也不是很友好,性能一般。

Codis:豌豆荚开源,支持水平拓展,运维平台完善,性能较Twemproxy快。Codis在国内使用的较多,同时代理分片的思路也有很多公司在此基础开发了自己的二次方案。不过Codis也不再维护。

其实,这两种代理分片的方案,都是在Redis官方未推出良好的分布式方案时的产生的,在官方更新提供更优策略后都不再维护。

3.3服务器端分片

这就要谈到Redis官方方案Redis-cluster。

在Redis3.0之前是没有较好的分布式方案的,这也是第三方方案出现的原因。3.0开始,官方推出了去中心化的分布式方案。集群中包含16384个散列槽,每个节点负责其中一部分。

先看下拓扑图:

Redis集群缓存方案,缓存常见问题盘点,pIYBAF_ZdcqADdqZAADbOrcSZ6M230.png,第4张

每个节点打开两个TCP连接,一个负责给客户端提供服务,一个负责节点间通信。

此刻要说说CAP了:Consistency(一致性)、Availability(可用性)、ParTITIontolerance(分区容错性)。对分布式系统而言,CAP必须牺牲一者。RedisCluster的设计目标主要是高性能、高可用和高扩展,只好抛弃一部分数据一致性。

数据一致性:由于RedisCluster使用异步复制,在某些情况下如Master宕机但未同步至Slave,可能会导致丢失写入。在绝对需要支持同步写入时,可通过WAIT命令实现,可使得丢失写入的可能性大大降低。

可用性:当集群中一部分节点故障后,集群整体能响应客户端读写请求。

节点间定时互ping,当超过一半Master判定某节点失败,则标记为FAIL,且会向集群广播节点下线的消息。如下线节点是带有槽的主节点,则要从它的从节点选出一个替换。

Redis集群缓存方案,缓存常见问题盘点,o4YBAF_ZddGAQcDNAADooEm-zsA074.png,第5张

高性能和拓展: *** 作某个key时,不会先找到节点再处理,而是直接直接重定向到该节点,同时相较代理分片也少了proxy的连接损耗。

但是在进行mulTIplekey *** 作时需要keys位于同一个slot上,需要使用hashtags,使用{}强制将某些key映射到每个slot,以便进行multiple。

在拓展方面,RedisCluster最大支持线性拓展1000个节点,将新节点加入集群后可以通过命令指定和平均的从已有节点分配slot。

4.缓存常见问题

以上介绍了简单介绍了常见缓存系统,并具体列出了基于Redis的集群方案。下面谈一谈缓存系统常见的问题。

如下图所示,列出七个常见问题。

Redis集群缓存方案,缓存常见问题盘点,o4YBAF_ZddiAUr49AAHuOpdzrek502.png,第6张

4.1.缓存穿透

指访问不存在的数据,从而绕过缓存,直接请求到了数据源,当请求过多,就会对DB造成压力。

空key:指对于不存在的数据也将key存空值入缓存系统,这样下次访问也会得到返回。但只适用于空数据key有限、key重复请求概率高,如果量大且不重复,就会造成很多无用key的创建。

布隆过滤器:布隆过滤器是一个很长的二进制向量和一系列随机映射函数。可用于检索一个元素是否在一个集合中加一层对空值的过滤器,空间和时间效率都很高。但由于hash产生的碰撞可能存在误判,以及因不存储key导致的无法删除。适用于空数据key各不同、重复请求概率低。

4.2.缓存击穿

缓存击穿实际是缓存雪崩的一个特例。指当某些热点key过期时,就会有大量的请求击穿到DB。

互斥锁:在缓存失效的时候,不立即loaddb,可以先用如SETNX等命令去set一个mutexkey,当 *** 作返回成功时,说明拿到锁,此刻该线程进行loaddb的 *** 作并更新缓存;否则未拿到锁就(可休眠一段)重试get缓存的方法。但要注意死锁风险。

不过期

这里的不过期有两个概念,一个指未设过期时间,那是真的不过期,那没事了。

另一个是指通过业务逻辑,将key的过期时间进行存储,请求是判断是否小于值,是则后台异步更新。

4.3.缓存雪崩

同一时刻大量缓存失效(故障),请求到了DB。

随机时间:在设置过期时间时,可以在基础时间上+一个随机的时间,等于实现了分批过期。

后台更新:将更新失效的工作交给后台定时线程。

限流+本地缓存:如ehcache本地缓存+Hystrix限流。

双缓存:类似于设置主从缓存,从key不过期。

4.4.缓存更新与一致性

如果保证数据一致性。列出四种更新策略:

CacheAside:最常用的。失效时回源取数据,更新;命中时,返回缓存数据;更新时先数据源更新,再更新缓存。

WriteBack:更新数据时,只更新缓存,不更新数据源。缓存异步批量更新数据库。

Read/WriteThrough

WriteThrough:当有数据更新时,如未命中缓存,直接更新数据库,并返回。如命中缓存,则更新缓存,再由Cache自己更新数据库。

ReadThrough:更新数据源由缓存系统 *** 作,读取数据时如缓存失效,则取回源数据更新缓存。

4.5.热点数据

对于热点数据的处理方法。

拆分复杂结构:如二级数据结构,进行拆分,这样热点key就被拆为若干个的key分布到不同节点。

迁移热点:对于RedisCluster而言可以将热点key所在的slot单独迁移到一个节点,降低其他节点压力。

多副本:复制多份缓存副本,将请求分散到多个节点上,减轻单台缓存服务器压力,适合多读少写。

4.6.缓存预热

指可以将某些的缓存数据提前加载到缓存系统,提前避免在如热点数据大量请求到库。

4.7.缓存降级

指当访问量剧增、服务出现问题或非核心服务影响到核心流程的性能时,仍需保证主服务可用。可根据一些关键数据自动降级,也可配置开关人工降级。

5.RedisCluster使用

对于RedisCluster环境的搭建和基础使用非常简单。

无论基于何种方式,只要搭建好n台redis服务并保证各服务间可以互相通讯后,任意进入一个redis服务键入:

redis-cli--clustercreateIP1:port1IP2:port2IP3:port3IP4:port4IP5:port5IP6:port6。。。--cluster-replicas1即可。之后可以使用clusternode和clusterinfo命令查看集群、节点信息。

而对于广大JAVA开发,SpringDataRedis从1.7起即支持RedisCluster,只需配置Master节点地址(和密码)。

spring.redis.cluster.nodes=ip1:port1,ip2:port2,ip3:port3

加入依赖

compile(“org.springframework.boot:spring-boot-starter-data-redis”)即可通过RedisTemplate使用。

6.总结

本文从缓存系统的选择出发,基于Redis介绍了几种集群方案并重点说明了RedisCluster方案。之后列出缓存系统常见问题及常见解决方案,最后对使用做了简单说明。

当然,如何去落地,如何解决这些问题还需要根据实际场景具体分析和处理。
责任编辑人:CC

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/dianzi/2448268.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-08-03
下一篇 2022-08-03

发表评论

登录后才能评论

评论列表(0条)

保存