如何用Java和Redis设计一个高效的先入先出的队列

分析：

redis的list底层是多个ziplist结构组成的“双向”链表。中间部分还压缩了一下。

最外层是由两个哈希表构成的dict。

哈希表的get(key)时间复杂度为O(1),而且这个O(1)理论上不会因为所占内存的大小和元素数目所改变。list的出队列和入队 *** 作也都是O(1)。

Java的队列时间复杂度也应为O(1)。

可不可以直接用redis的list做先进先出？

情况1，数据数量不多，可以用

情况2，数据量多，但存的数据是激活码这样简单值一类，可以用。

情况3，list存的是要获取数据的索引，大量数据的值已经存在redis的KV结构中。

这时候，如果数据每次获取下一个数据都要执行redis的hash查找（O(1)）然后redis的list从头或者末尾出一个。经过网络IO返回，Java程序在用出来的key去请求redis去get(key) （O(1)）。这里是两次网络IO或者进程间的IO。

这时候，可以不用redis的list存索引而只是用redis大的KV哈希结构存键值。用①Java的队列先进先出获取下一个key或者②使用预先规定好的键生成的规则，让键是有规则有顺序的，比如自增ID，然后每次获取都是ID++，而直接从redisget(IDnext());来获取值。

最后一种就是最高效的办法，为了特殊场景的高效出队列而设计。但是如果只是一般的数据量，使用redis的list也未尝不可。

你好，Redis哨兵

Redis的主从复制模式下,一旦主节点由于故障不能提供服务,需要人工将从节点晋升为主节点,同时还要通知应用方更新主节点地址,对于很多应用场景这种故障处理的方式是无法接受的。可喜的是Redis从28开始正式提供了Redis Sentinel (哨兵)架构来解决这个问题,本章会对Redis Sentinel进行详细分析。

基本概念

名词 逻辑结构 物理结构 主节点 Redis主服务 一个独立的Redis进程 从节点 Redis从服务 一个独立的Redis进程Redis数据节点 主节点和从节点 主节点和从节点的进程 Sentinel节点 监控Redis数据节点 一个独立的Sentinel进程 Sentinel节点集合 若干个Sentinel节点的抽象组合 若干个Sentinel节点进程 Redis Sentinel Redis高可用方案Sentinel节点集合和Redis数据及诶单进程

主从复制的问题

Redis的主从复制模式可以将主节点的数据改变同步给从节点,这样从节点就可以起到两个作用:第一,作为主节点的一个备份,一旦主节点出了故障不可达的情况,从节点可以作为后备“顶”上来,并且保证数据尽量不丢失(主从复制是最终一致性)。 第二,从节点可以扩展主节点的读能力,一旦主节点不能支撑住大并发量的读 *** 作,从节点可以在一定程度上帮助主节点分担读压力。 但是主从复制也带来了以下问题: （1）一旦主节点出现故障,需要手动将一个从节点晋升为主节点,同时需要修改应用方的主节点地址,还需要命令其他从节点去复制新的主节点,整个过程都需要人工干预。 （2）主节点的写能力受到单机的限制。 （3）主节点的存储能力受到单机的限制。

高可用

Redis主从复制模式下,一旦主节点出现了故障不可达,需要人工干预进行故障转移无论对于Redis的应用方还是运维方都带来了很大的不便。对于应用方来说无法及时感知到主节点的变化,必然会造成一定的写数据丢失和读数据错误,甚至可能造成应用方服务不可用。对于Redis的运维方来说,整个故障转移的过程是需要人工来介入的,故障转移实时性和准确性上都无法得到保障，一个1主2从的Redis主从复制模式下的主节点出现故障后,是如何进行故障转移的。 1)主节点发生故障后,客户端(client)连接主节点失败,两个从节点与主节点连接失败造成复制中断。 2)如果主节点无法正常启动,需要选出一个从节点(slave-1),对其执行slaveof no one命令使其成为新的主节点。 3)原来的从节点（slave-1）成为新的主节点后，更新应用方的主节点信息，重新启动应用方 4)客户端命令另一个从节点（slave-2）去复制新的主节点（new-master） 5)待原来的主节点恢复后，让它去复制新的主节点。上述处理过程就可以认为整个服务或者架构的设计不是高可用的,因为整个故障转移的过程需要人为介入。考虑到这点,有些公司把上述流程自动化了,但是仍然存在如下问题:第一，断节点不可达的机制是否健全和标准。第二,如果有多个从节点,怎样保证只有一个被晋升为主节点。第三，通知客户端新的主节点机制是否足够强壮。Redis Sentinel正是用于解决这个问题。

Redis Sentinel的高可用性当主节点出现故障时, Redis Sentinel能自动完成故障发现和故障转移,并通知应用方,从而实现真正的高可用。Redis Sentinel是一个分布式架构,其中包含若干个Sentinel节点和Redis数据节点,每个Sentinel节点会对数据节点和其余Sentinel节点进行监控,当它发现节点不可达时,会对节点做下线标识。如果被标识的是主节点,它还会和其他Sentinel节点进行“协商”,当大多数Sentinel节点都认为主节点不可达时,它们会选举出一个Sentinel节点来完成第六章sentinelmd2020/3/132 / 4自动故障转移的工作,同时会将这个变化实时通知给Redis应用方。整个过程完全是自动的,不需要人工来介入,所以这套方案很有效地解决了Redis的高可用问题。Redis Sentinel与Redis主从复制模式只是多了若于Sentinel节点,所以Redis Sentinel并没有针对Redis节点做了特殊处理,这里是很多开发和运维人员容易混淆的。从逻辑架构上看, Sentinel节点集合会定期对所有节点进行监控,特别是对主节点的故障实现自动转移。假设我们现在有一个主节点，两个从节点和三个Sentinel节点组成的Redis Sentinel的例。 整个故障转移的处理逻辑有下面4个步骤: 1)主节点出现故障,此时两个从节点与主节点失去连接,主从复制失败 2)每个Sentinel节点通过定期监控发现主节点出现了故障。 3)多个Sentinel节点对主节点的故障达成一致,选举出其中一个sentinel节点作为领导者负责故障转移。 4)Sentinel领导者节点执行了故障转移。通过上面介绍的Redis Sentinel逻辑架构以及故障转移的处理,可以看出Redis Sentinl具有以下几个功能: （1）监控: Sentinel节点会定期检测Redis数据节点、其余Sentinel节点是否可达。 （2）通知: Sentinel节点会将故障转移的结果通知给应用方。 （3）主节点故障转移:实现从节点晋升为主节点并维护后续正确的主从关系。 （4）配置提供者:在Redis Sentinel结构中,客户端在初始化的时候连接的是Sentinel节占 集合,从中获取主节点信息。同时看到, Redis Sentinel包含了若干个Sentinel节点,这样做也带来了两个好处: （1）对于节点的故障判断是由多个Sentinel节点共同完成,这样可以有效地防止误判。 （2）Sentinel节点集合是由若干个Sentinel节点组成的,这样即使个别Sentinel节点不可用,整个Sentinel节点集合依然是健壮的。 但是Sentinel节点本身就是独立的Redis节点,只不过它们有一些特殊,它们不存储数据,只支持部分命令。

和 set 一样是字符串的集合，不同的是每个元素都会关联一个 double 类型的 score 。

实现使用的是 skip list 和 hash table ， skip list 的实现使用的是双线链表。

Score 的主要作用是排序，因此 sorted set 主要用作索引。

答：

Redis的key的获取

redis的命令keys() 可以获取所有的key。但是此种方式当数据量大的时候,会产生阻塞的情况。 redis的key还可以通过scan命令获取key。

此外，我还讨论过较为常见的基于服务器的数据存储，比如 MongoDB 和 CouchDB。每个数据存储都有其优势和劣势，特别是当应用于特定领域时。 本期的 Java 开发 20 关注的是 Redis，一种轻量级键值对数据存储。多数 NoSQL 实现本质上都是键值对，但是 Redis 支持非常丰富的值集，其中包括字符串、列表、集以及散列。因此，Redis 通常被称为数据结构服务器。Redis 也以异常快速而闻名，这使得它成为某一特定类型使用案例的最优选择。 当我们想要了解一种新事物时，将其同熟知的事物进行比较可能会有所帮助，因此，我们将通过对比其与 memcached 的相似性以开启 Redis 探索之旅。接着我们将介绍 Redis 的主要功能，这些功能可以使其在某些应用场景可以胜过 memcached。最后我将向您展示如何将 Redis 作为一个传统数据存储用于模型对象。Redis 和 memcached Memcached 是一个众所周知的内存对象缓存系统，通过将目标键和值导入内存缓存运行。因此，Memcached 能回避读取磁盘时发生的 I/O 成本问题。在 Web 应用程序和数据库之间粘贴 memcached 时会产生更好的读取性能。因此，对于那些需要快速数据查询的应用程序，Memcached 是一个不错的选择。其中的一个例子为股票查询服务，需要另外访问数据库获取相对静态数据，如股票名称或价格信息。 MemcacheDB 将Redis 与 memcached 相比较并不公平，它与 MemcacheDB 相比要好的多，MemcacheDB 是一个分布式键值对存储系统，专为数据持久化而设计。MemcacheDB 与 Redis 较为相似，其新增优势可以使其轻松地与 memcached 实现的客户端进行通信。 但是memcached 也有其局限性，其中一个事实就是它所有的值均是简单的字符串。Redis 作为 memcached 的替代者，支持更加丰富的功能集。一些基准 (benchmarks) 也表明 Redis 的速度要比 memcached 快很多。Redis 提供的丰富数据类型使其可以在内存中存储更为复杂的数据，这是使用 memcached 无法实现的。同 memcached 不一样，Redis 可以持久化其数据。 Redis 解决了一个重大的缓存问题，而其丰富的功能集又为其找到了其他用途。由于 Redis 能够在磁盘上存储数据以及跨节点复制数据，因而可以作为数据仓库用于传统数据模式（也就是说，您可以使用 Redis，就像使用 RDBMS 一样）。Redis 还经常被用作队列系统。在本用例中，Redis 是备份和工作队列持久化存储（利用 Redis 的列表类型）的基础。GitHub 是以此种方法使用 Redis 的大规模基础架构示例准备好 Redis，立即开始! 要开始使用 Redis，您需要访问它，可以通过本地安装或者托管供应商来实现访问。如果您使用的 MAC，安装过程可能就不那么简单。如果您使用的是 Windows�0�3，您需要先安装 Cygwin。如果您正在寻找一个托管供应商，Redis4You 拥有一个免费计划。不管您以何种方式访问，您都能够根据本文下列示例进行 *** 作，但是我需要指出的是，使用一个托管供应商进行缓存可能并不是很好的缓存解决方案，因为网络延迟可能会抵消任何性能优势。 您需要通过命令与 Redis 进行交互，这就是说，这里没有 SQL 类查询语言。使用 Redis 工作非常类似于使用传统 map 数据结构，即所有的一切都拥有一个键和一个值，每个值都有多种与之关联的数据类型。每个数据类型都有其自己的命令集。例如，如果您计划使用简单数据类型，比如某种缓存模式，您可以使用命令 set 和 get。 您可以通过命令行 shell 与一个 Reids 实例进行交互。还有多个客户端实现，可以以编程方式与 Redis 进行交互。清单 1 展示了一个使用基础命令的简单命令行 shell 交互：清单1 使用基础的 Redis 命令 redis 127001:6379> set page registration OK redis 127001:6379> keys 1) "foo" 2) "page" redis 127001:6379> get page "registration" 在这里，我通过 set 命令将键 "page" 与值 "registration" 相关联。接着，我发出 keys 命令（后缀 表示我想看到所有可用的实例键。keys 命令显示有一个 page 值和一个 foo，我可以通过 get 命令检索到与一个键关联的值。请记住，使用 get 检索到的值只能是一个字符串。如果一个键的值是一个列表，那么您必须使用一个特定列表的命令来检索列表元素。（注意，有可以查询值类型的命令）。Java 与 Jedis 集成 对于那些想要将 Redis 集成到 Java 应用程序的编程人员，Redis 团队建议使用一个名为 Jedis 的项目，Jedis 是一个轻量级库，可以将本地 Redis 命令映射到 Java 方法。例如 Jedis 可以获取并设置简单值，如清单 2 所示：清单2 Java 代码中的基础 Redis 命令 JedisPool pool = new JedisPool(new JedisPoolConfig(), "localhost"); Jedis jedis = poolgetResource(); jedisset("foo", "bar"); String foobar = jedisget("foo"); assert foobarequals("bar"); poolreturnResource(jedis); pooldestroy(); 在清单 2 中，我配置了一个连接池并捕获连接，（与您在典型 JDBC 场景中的 *** 作非常相似）然后我在清单的底部设置了返回 *** 作。在连接池逻辑之间，我设置了值 "bar" 和键 "foo"，这是我通过 get 命令检索到的。 与memcached 类似，Redis 允许您将过期（expiration）时间关联到一个值。因此我设置了这样一个值（比如，股票临时交易价格），最终将从 Redis 缓存中清除掉。如果我想在 Jedis 中设置一个过期时间，需要在发出 set 调用之后将其和一个过期时间关联。如清单 3 所示：清单3 Redis 值可以设置为终止 jedisset("gone", "daddy, gone"); jedisexpire("gone", 10); String there = jedisget("gone"); assert thereequals("daddy, gone"); Threadsleep(4500); String notThere = jedisget("gone"); assert notThere == null; 在清单 3 中，我使用了一个 expire 调用将 "gone" 的值设置为在 10 秒钟内终止。调用 Threadsleep 之后，"gone" 的 get 调用会返回 null。Redis 中的数据类型 使用Redis 数据类型，比如列表和散列需要专用命令用法。例如，我可以通过为键附加值来创建列表。

通过导入文件的方式插入，文件可以用其他方式先生成，比如使用java，来生成data1txt，然后使用下面的sql语句：

load data local infile 'd:/data1txt' replace into table hk_acinfo lines terminated by '\\r\\n'

使用这个方法，我插入过1千万以上的数据，如果没有网络影响的话，每秒1M+/s的速度写入，很快的

以上就是关于如何用Java和Redis设计一个高效的先入先出的队列全部的内容，包括:如何用Java和Redis设计一个高效的先入先出的队列、访问redis哨兵读数据、php redis 有序集合 如何获取最大的数据等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！