Redis 6.0多线程介绍

Redis作为一个基于内存的缓存系统，一直以高性能著称，
在单线程处理情况下，读速度可达到11万次/s，写速度达到81万次/s。

官方曾做过类似问题的回复：使用Redis时，几乎不存在CPU成为瓶颈的情况， Redis主要受限于内存和网络。

但是，单线程的设计也给Redis带来一些问题：

针对上面问题，Redis在40版本以及60版本分别引入了Lazy Free以及多线程IO，逐步向多线程过渡。

 

Redis服务器是一个事件驱动程序，服务器需要处理以下两类事件：

Redis服务器通过套接字与客户端(或者其他Redis服务器)进行连接。
文件事件就是服务器对套接字 *** 作的抽象 。

服务器与客户端的通信会产生相应的文件事件，而服务器则通过监听并处理这些事件来完成一系列网络通信 *** 作。
(eg: 连接accept，read，write，close等)

Redis服务器中的一些 *** 作(eg: serverCron函数)需要在给定的时间点执行。
时间事件就是服务器对这类定时 *** 作的抽象
(eg: 过期键清理，服务状态统计等)

Redis将文件事件和时间事件进行抽象，时间轮询器会监听I/O事件表:
一旦有文件事件就绪，Redis就会优先处理文件事件，
接着处理时间事件。
在上述所有事件处理上，Redis都是以单线程形式处理，所以说Redis是单线程的。
处理过程见下图

Redis基于Reactor模式开发了自己的I/O事件处理器，也就是文件事件处理器。
Redis在I/O事件处理上，采用了I/O多路复用技术，同时监听多个套接字，
并为套接字关联不同的事件处理函数，通过一个线程实现了多客户端并发处理。
处理过程见下图

上述的设计，在数据处理上避免了加锁 *** 作，既使得实现上足够简洁，也保证了其高性能。
当然， Redis单线程只是指其在事件处理上 ，实际上，Redis也并不是单线程的，比如生成RDB文件，就会fork一个子进程来实现。

 

背景:
客户端向Redis发送一条耗时较长的命令，比如删除一个含有上百万对象的Set键，或者执行flushdb，flushall *** 作，
Redis服务器需要回收大量的内存空间，导致服务器卡住好几秒，对负载较高的缓存系统而言将会是个灾难。

为了解决这个问题，在Redis 40版本引入了Lazy Free， 将慢 *** 作异步化 ，这也是在事件处理上向多线程迈进了一步。

将大键的删除 *** 作异步化，采用非阻塞删除（对应命令UNLINK）。
大键的空间回收交由单独线程实现，主线程只做关系解除，可以快速返回，继续处理其他事件，避免服务器长时间阻塞。

意义:
Redis在40版本引入了Lazy Free，自此Redis有了一个 Lazy Free线程专门用于大键的回收 。
同时，也去掉了聚合类型的共享对象，这为多线程带来可能。
这为Redis在60版本实现了多线程I/O打下了基础。

 

Redis 60的多线程并未将事件处理改成多线程，而是在I/O上。
因为，如果把事件处理改成多线程，不但会导致锁竞争，而且会有频繁的上下文切换，
即使用分段锁来减少竞争，对Redis内核也会有较大改动，性能也不一定有明显提升。

流程简述如下：

见下图

 

Redis60的多线程默认是禁用的，只使用主线程。
如需开启需要修改redisconf配置文件：

开启多线程后，还需要设置线程数，否则是不生效的。
同样修改redisconf配置文件:

没有区别。redisv8和redis没有区别，都增加一系列新的特性，包括邮件认证、多个认证过滤策略、归档端口、SSL/TLS安全通道，以及用于管理和监控的Xdebug工具。redisv8还支持集群部署，可以更好地实现高可用性，并提供了一个新的可视化管理网站，可用于远程管理redis服务器。

Redis是一个开源的内存数据结构存储系统，它也可以用作数据库、缓存和消息代理。Redis是Remote Dictionary Server的缩写，最初由Salvatore Sanfilippo开发。Redis支持多种数据结构，如字符串、哈希表、列表、集合和有序集合等，同时支持丰富的命令集，如数据插入、查询、删除、排序和事务等。Redis还支持数据持久化，可以将数据保存到磁盘上，以便在服务器重启后恢复数据。

Redis主要用于构建高性能、可扩展的应用程序，特别是需要快速读取和写入数据的应用程序，如社交媒体、游戏、电子商务和实时分析等。Redis的内存存储机制和高速缓存技术可以极大地提升应用程序的性能和吞吐量。Redis还提供了一些高级功能，如发布/订阅、事务处理和Lua脚本等，可用于构建复杂的应用程序和系统。

所谓的高可用，也叫 HA（High Availability），是分布式系统架构设计中必须考虑的因素之一，它是保证系统SLA的重要指标。Redis 高可用的主要有三种模式： 主从模式 ， 哨兵模式和集群模式 。

Redis 提供了 Redis 提供了复制(replication)功能，当一台 redis 数据库中的数据发生了变化，这个变化会被自动地同步到其他的 redis 机器上去。

Redis 多机器部署时，这些机器节点会被分成两类，一类是主节点（master 节点），一类是从节点（slave 节点）。一般 主节点可以进行读、写 *** 作 ，而 从节点只能进行读 *** 作 。一个主节点可以有多个从节点，但是一个从节点只会有一个主节点，也就是所谓的 一主多从结构 。

· 支持主从复制，主机会自动将数据同步到从机，可以进行读写分离;

· Master 是以非阻塞的方式为主 Slaves 提供服务。所以在 Master-Slave 同步期间，客户端仍然可以提交查询或修改请求;

· Slave 同样是以非阻塞的方式完成数据同步。在同步期间，如果有客户端提交查询请求，Redis 则返回同步之前的数据。

· Redis 不具备自动容错和恢复功能，主机从机的宕机都会导致前端部分读写请求失败，需要等待机器重启或者手动切换前端的 IP 才能恢复;

· 主机宕机，宕机前有部分数据未能及时同步到从机，切换 IP 后面还会引入数据不一致的问题，降低了系统的可用性;

· Redis 较难支持在线扩容，在集群容量达到上限时在线扩容会变得很复杂;

· Redis 的主节点和从节点中的数据是一样的，降低的内存的可用性

实际生产中，我们优先考虑哨兵模式。这种模式下，master 宕机，哨兵会自动选举 master 并将其他的 slave 指向新的 master。

在主从模式下，redis 同时提供了哨兵命令 redis-sentinel ，哨兵是一个独立的进程，作为进程，它会独立运行。其原理是哨兵进程向所有的 redis 机器人发送命令，等待 Redis 服务器响应，从而监控运行的多个 Redis 实例。一般为了便于决策选举，使用 奇数个哨兵 。多个哨兵构成一个哨兵集群，哨兵直接也会相互通信，检查哨兵是否正常运行，同时发现 master 战机哨兵之间会进行决策选举新的 master

哨兵模式的作用:

· 通过发送命令，让 Redis 服务器返回监控其运行状态，包括主服务器和从服务器;

· 然而一个哨兵进程对 Redis 服务器进行监控，也可能会出现问题，为此，我们可以使用多个哨兵进行监控。各个哨兵之间还会进行监控，这样就形成了多种哨兵模式。

哨兵很像 kafka 集群中的 zookeeper 的功能。

· 哨兵模式是基于主从模式的，所有主从的优点，哨兵模式都具有。

· 主从可以自动切换，系统更健壮，可用性更高。

· 具有主从模式的缺点，每台机器上的数据是一样的，内存的可用性较低。

· Redis 较难支持在线扩容，在集群容量达到上限时在线扩容会变得很复杂。

Redis 集群模式本身没有使用一致性 hash 算法，而是使用 slots 插槽 。

Redis 哨兵模式基本已经可以实现高可用，读写分离 ，但是在这种模式下每台 Redis 服务器都存储相同的数据，很浪费内存，所以在 redis30 上加入了 Cluster 集群模式，实现了 Redis 的分布式存储，对数据进行分片，也就是说每台 Redis 节点上存储不同的内容；每个节点都会通过集群总线(cluster bus)，与其他的节点进行通信。 通讯时使用特殊的端口号，即对外服务端口号加 10000。例如如果某个 node 的端口号是 6379，那么它与其它 nodes 通信的端口号是 16379。nodes 之间的通信采用特殊的二进制协议。

对客户端来说，整个 cluster 被看做是一个整体，客户端可以连接任意一个 node 进行 *** 作，就像 *** 作单一 Redis 实例一样， 当客户端 *** 作的时候 key 没有分配到该 node 上时，Redis 会返回转向指令，指向正确的 node，这有点儿像浏览器页面的 302 redirect 跳转。

根据官方推荐，集群部署至少要 3 台以上的 master 节点，最好使用 3 主 3 从六个节点的模式。

在 Redis 的每一个节点上，都有这么两个东西， 一个是插槽（slot），它的的取值范围是：0-16383， 可以从上面 redis-tribrb 执行的结果看到这 16383 个 slot 在三个 master 上的分布。还有一个就是 cluster，可以理解为是一个集群管理的插件，类似的哨兵。

当我们的存取的 Key 到达的时候，Redis 会根据 crc16 的算法对计算后得出一个结果，然后把结果和 16384 求余数，这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽，通过这个值，去找到对应的插槽所对应的节点，然后直接自动跳转到这个对应的节点上进行存取 *** 作。

为了保证高可用， redis-cluster 集群引入了主从模式 ，一个主节点对应一个或者多个从节点。当其它主节点 ping 主节点 master 1 时，如果半数以上的主节点与 master 1 通信超时，那么认为 master 1 宕机了，就会启用 master 1 的从节点 slave 1，将 slave 1 变成主节点继续提供服务。

如果 master 1 和它的从节点 slave 1 都宕机了，整个集群就会进入 fail 状态，因为集群的 slot 映射不完整。 如果集群超过半数以上的 master 挂掉，无论是否有 slave，集群都会进入 fail 状态。

redis-cluster 采用去中心化的思想 ，没有中心节点的说法，客户端与 Redis 节点直连，不需要中间代理层，客户端不需要连接集群所有节点，连接集群中任何一个可用节点即可。

对 redis 集群的扩容就是向集群中添加机器，缩容就是从集群中删除机器，并重新将 16383 个 slots 分配到集群中的节点上（数据迁移）。

扩缩容也是使用集群管理工具 redis-trirb。

扩容时，先使用 redis-trirb add-node 将新的机器加到集群中，这是新机器虽然已经在集群中了，但是没有分配 slots，依然是不起做用的。在使用 redis-trirb reshard 进行分片重哈希（数据迁移），将旧节点上的 slots 分配到新节点上后，新节点才能起作用。

缩容时，先要使用 redis-trirb reshard 移除的机器上的 slots，然后使用 redis-trirb add-del 移除机器。

采用去中心化思想，数据按照 slot 存储分布在多个节点，节点间数据共享，可动态调整数据分布;

可扩展性：可线性扩展到 1000 多个节点，节点可动态添加或删除;

高可用性：部分节点不可用时，集群仍可用。通过增加 Slave 做 standby 数据副本，能够实现故障自动 failover，节点之间通过 gossip 协议交换状态信息，用投票机制完成 Slave 到 Master 的角色提升;

降低运维成本，提高系统的扩展性和可用性。

1Redis Cluster 是无中心节点的集群架构，依靠 Goss 协议(谣言传播)协同自动化修复集群的状态。但 GosSIp 有消息延时和消息冗余的问题，在集群节点数量过多的时候，节点之间需要不断进行 PING/PANG 通讯，不必须要的流量占用了大量的网络资源。虽然 Reds40 对此进行了优化，但这个问题仍然存在。

2数据迁移问题

Redis Cluster 可以进行节点的动态扩容缩容，这一过程，在目前实现中，还处于半自动状态，需要人工介入。在扩缩容的时候，需要进行数据迁移。

而 Redis 为了保证迁移的一致性，迁移所有 *** 作都是同步 *** 作 ，执行迁移时，两端的 Redis 均会进入时长不等的阻塞状态，对于小 Key，该时间可以忽略不计，但如果一旦 Key 的内存使用过大，严重的时候会接触发集群内的故障转移，造成不必要的切换。

主从模式：master 节点挂掉后，需要手动指定新的 master，可用性不高，基本不用。

哨兵模式：master 节点挂掉后，哨兵进程会主动选举新的 master，可用性高，但是每个节点存储的数据是一样的，浪费内存空间。数据量不是很多，集群规模不是很大，需要自动容错容灾的时候使用。

集群模式：数据量比较大，QPS 要求较高的时候使用。 Redis Cluster 是 Redis 30 以后才正式推出，时间较晚，目前能证明在大规模生产环境下成功的案例还不是很多，需要时间检验。

---