Java开发工程师进阶篇-深入浅出Redis

Java开发工程师进阶篇-深入浅出Redis,第1张

Java开发工程师进阶篇-深入浅出Redis

作者:幻好

来源: 恒生LIGHT云社区

基本简介

Redis 是什么?

Redis 是互联网技术领域使用最为广泛的存储中间件,它是「Remote Dictionary Service」的首字母缩写,也就是「 远程字典服务 」。Redis 以其超高的性能、完美的文档、 简洁易懂的源码和丰富的客户端库支持在开源中间件领域广受好评。 国内外很多大型互联网 公司都在使用 Redis,比如 Twitter、YouPorn、暴雪娱乐、Github、StackOverflow、腾讯、 阿里、京东、华为、新浪微博等等,很多中小型公司也都有应用。也可以说,对 Redis 的了 解和应用实践已成为当下中高级后端开发者绕不开的必备技能。 Redis 可以用来做什么?

「Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作 数据库 、 缓存 和 消息中间件 。 它 支持多种类型的数据结构 ,如 字符串(strings), 散列(hashes), 列表(lists), 集合(sets), 有序集合(sorted sets) 与范围查询, bitmaps, hyperloglogs 和 地理空间(geospatial) 索引半径查询。 Redis 内置了 复制(replication),LUA脚本(Lua scripting), LRU驱动事件(LRU eviction),事务(transactions) 和不同级别的 磁盘持久化(persistence), 并通过 Redis哨兵(Sentinel)和自动 分区(Cluster)提供高可用性(high availability)。 Redis 可以做什么?

Redis 的业务应用范围非常广泛,以博客社区的功能模块为实例:

记录帖子的 点赞数 、 评论数 和 点击数 (hash)。 记录用户的帖子 ID 列表 (排序) ,便于快速显示用户的帖子列表 (zset)。 记录帖子的 标题、摘要、作者和封面 信息,用于列表页展示 (hash)。 记录帖子的点赞用户 ID 列表,评论 ID 列表,用于 显示和去重计数 (zset)。 缓存 近期热帖 内容 (帖子内容空间占用比较大),减少数据库压力 (hash)。 Redis 的下载安装

参考网站: http://www.redis.cn/download.html 基础数据结构

Redis 有 5 种基础数据结构,分别为:**string **(字符串)、**list **(列表)、**hash **(哈 希)、**set **(集合) 和 **zset **(有序集合)。熟练掌握这 5 种基本数据结构的使用是 Redis 知识最基础也最重要 的部分。

字符串(string) -string 的基本概念

字符串 string 是 Redis 最简单的数据结构。Redis 所有的数据结构都是以唯一的 key 字符串作为名称,然后通过这个唯一 key 值来获取相应的 value 数据。不同类型的数据结 构的差异就在于 value 的结构不一样。

-string 的应用

字符串结构使用非常广泛,一个常见的用途就是缓存用户信息。我们将用户信息结构体使用 JSON 序列化成字符串,然后将序列化后的字符串塞进 Redis 来缓存。同样,取用户信息会经过一次反序列化的过程。 -string 的结构原理

Redis 的字符串是动态字符串,是可以修改的字符串,内部结构实现上类似于 Java 的 ArrayList , 采用预分配冗余空间的方式 来减少内存的频繁分配。

如图中所示,内部为当前字 符串实际分配的空间 capacity 一般要高于实际字符串长度 len 。当字符串长度小于 1M 时, 扩容都是加倍现有的空间,如果超过 1M,扩容时一次只会多扩 1M 的空间。需要注意的是 字符串最大长度 为 512M 。

字符串是由多个字节组成,每个字节又是由 8 个 bit 组成,如此便可以将一个字符串看 成很多 bit 的组合,这便是 bitmap「位图」数据结构。

-string 的 *** 作命令

基本命令: set 、 get 、 exists 、 del 批量命令: mset 、 mget 其他命令: expire 、 setex 、 setnx 、 incr 、 incrby

如果 value 值是一个整数,可以对它进行自增 *** 作。自增是有范围的,它的范围是 signed long 的最大最小值,超过了这个值,Redis 会报错。 列表(list) -list 的基本概念

Redis 的列表相当于 Java 语言里面的 linkedList ,注意它是链表而不是数组。这意味着 list 的插入和删除 *** 作非常快,时间复杂度为 O(1),但是索引定位很慢,时间复杂度为 O(n)。 当列表d出了最后一个元素之后,该数据结构自动被删除,内存被回收。 -list 的应用

Redis 的列表结构常用来做异步队列使用。将需要延后处理的任务结构体序列化成字符串塞进 Redis 的列表,另一个线程从这个列表中轮询数据进行处理。 -list 的结构原理

如果再深入一点,会发现 Redis 的列表底层存储的还不是一个简单的 linkedlist ,而是称之为 快速链表 quicklist 的一个结构。

首先在 列表元素较少的情况 下会使用一块连续的内存存储,这个结构是 ziplist ,也即是 压缩列表 。它将所有的元素紧挨着一起存储,分配的是一块连续的内存。

当 列表元素比较多 时候会改成 quicklist 。因为普通的链表需要的附加指针空间太大,会比较浪费空间,而且会加重内存的碎片化。比如这个列表里存的只是 int 类型的数据,结构上还需要两个额外的指针 prev 和 next 。所以 Redis 将链表和 ziplist 结合起来组成了 quicklist 。也就是将多个 ziplist 使用双向指针串起来使用。这样既满足了快速的插入删除性能,又不会出现太大的空间冗余。

-list 的 *** 作命令

常用命令: rpush 、 lpush 、 rpop 、 lpop 查询命令: llen 、 lrange 、 lindex 、 ltirm 哈希/字典(hash) -hash 的基本概念

Redis 的字典相当于 Java 语言里面的 HashMap ,它是无序字典。内部实现结构上同 Java 的 HashMap 也是一致的,同样的数组 + 链表二维结构。 -hash 的结构原理

第一维 hash 的数组位置碰撞时,就会将碰撞的元素使用链表串连接起来。

不同的是,Redis 的字典的值只能是字符串,另外它们 rehash 的方式不一样,因为 Java 的 HashMap 在字典很大时, rehash 是个耗时的 *** 作,需要一次性全部 rehash 。Redis 为了高性能,不能堵塞服务,所以采用了渐进式 rehash 策略。

渐进式 rehash 会在 rehash 的同时,保留新旧两个 hash 结构,查询时会同时查询两个 hash 结构,然后在后续的定时任务中以及 hash 的子指令中,循序渐进地将旧 hash 的内容 一点点迁移到新的 hash 结构中。

当 hash 移除了最后一个元素之后,该数据结构自动被删除,内存被回收。

hash 也有缺点, hash 结构的存储消耗要高于单个字符串,到底该使用 hash 还是字符 串,需要根据实际情况再三权衡。

-hash 的应用

hash 结构也可以用来存储用户信息,不同于字符串一次性需要全部序列化整个对象, hash 可以对用户结构中的每个字段单独存储。 当我们需要获取用户信息时可以进行部分获取。而以整个字符串的形式去保存用户信息的话就只能一次性全部读取,这样就会比较浪费网络流量。 -hash 的 *** 作命令

常用命令: hset 、 hget 、 hgetall 、 hlen 、 hmet 其他命令: hincr 、 hincrbu 集合(set) -set 的基本概念

Redis 的集合相当于 Java 语言里面的 HashSet ,它内部的键值对是无序的唯一的。它的内部实现相当于一个特殊的字典,字典中所有的 value 都是一个值 NULL 。 当集合中最后一个元素移除之后,数据结构自动删除,内存被回收。 -set 的应用

set 结构可以用来存储活动中奖的用户 ID,因为有去重功能,可以保证同一个用户不会中奖两次。 -set 的 *** 作命令

常用命令: sadd 、 smembers 、 sismember 、 scard 、 spop -set 的结构原理

集合对象 set 是 string 类型(整数也会转换成string类型进行存储)的无序集合。注意集合和列表的区别:集合中的元素是无序的,因此不能通过索引来 *** 作元素;集合中的元素不能有重复。 编码

集合对象的编码可以是 intset 或者 hashtable 。 intset 编码的集合对象使用整数集合作为底层实现,集合对象包含的所有元素都被保存在整数集合中。 hashtable编码的集合对象使用 字典作为底层实现,字典的每个键都是一个字符串对象,这里的每个字符串对象就是一个集合中的元素,而字典的值则全部设置为 null。这里可以类比Java集合中HashSet集合的实现. HashSet 集合是由HashMap来实现的,集合中的元素就是 HashMap 的key,而 HashMap 的值都设为 null。 编码转换

当集合同时满足以下两个条件时,使用 intset 编码:

集合对象中所有元素都是整数 集合对象所有元素数量不超过512 不能满足这两个条件的就使用 hashtable 编码。第二个条件可以通过配置文件的 set-max-intset-entries 进行配置。 有序集合(zset) -zset 的基本概念

zset 可能是 Redis 提供的最为特色的数据结构,它也是在面试中面试官最爱问的数据结 构。 它类似于 Java 的 SortedSet 和 HashMap 的结合体,一方面它是一个 set ,保证了内部 value 的唯一性,另一方面它可以给每个 value 赋予一个 score ,代表这个 value 的排序权 重。它的内部实现用的是一种叫着「 跳跃列表 」的数据结构。 zset 中最后一个 value 被移除后,数据结构自动删除,内存被回收。 -zset 的应用

zset 可以用来存 粉丝列表, value 值是粉丝的用户 ID, score 是关注时间。我们可以对粉丝列表按关注时间进行排序。 zset 还可以用来存储学生的成绩, value 值是学生的 ID, score 是他的考试成绩。我们 可以对成绩按分数进行排序就可以得到他的名次。 -zset 的 *** 作命令

常用命令: zadd 、 zrange 、 zrevrange 、 zcard 、 zscore 、 zrank 、 zrangebyscore -zset 的结构原理

有序集合对象是有序的 。与列表使用索引下标作为排序依据不同,有序集合为每个元素设置一个分数(score)作为排序依据。 编码

有序集合的编码可以是 ziplist 或者 skiplist 。 ziplist 编码的有序集合对象使用压缩列表作为底层实现,每个集合元素使用两个紧挨在一起的压缩列表节点来保存,第一个节点保存元素的成员,第二个节点保存元素的分值。 并且压缩列表内的集合元素按分值从小到大的顺序进行排列,小的放置在靠近表头的位置,大的放置在靠近表尾的位置。 skiplist 编码的有序集合对象使用zset结构作为底层实现,一个zset结构同时包含一个字典和一个跳跃表**:** 字典的键保存元素的值,字典的值则保存元素的分值;跳跃表节点的object属性保存元素的成员,跳跃表节点的score属性保存元素的分值。 这两种数据结构会通过指针来共享相同元素的成员和分值,所以不会产生重复成员和分值,造成内存的浪费。 编码转换

当有序集合对象同时满足以下两个条件时,对象使用 ziplist 编码:

保存的元素数量小于128; 保存的所有元素长度都小于64字节; 不能满足上面两个条件的使用 skiplist 编码。 以上两个条件可以通过Redis配置文件 zset-max-ziplist-entries 选项和 zset-max-ziplist-value 进行修改。 容器型数据结构 通用规则

list/set/hash/zset 这四种数据结构是容器型数据结构,它们共享下面两条通用规则:

create if not exists

如果容器不存在,那就创建一个,再进行 *** 作。比如 rpush *** 作刚开始是没有列表的, Redis 就会自动创建一个,然后再 rpush 进去新元素 drop if no elements

如果容器里元素没有了,那么立即删除元素,释放内存。这意味着 lpop *** 作到最后一 个元素,列表就消失了。 过期时间

Redis 所有的数据结构都可以设置过期时间,时间到了,Redis 会自动删除相应的对象。 需要注意的是过期是以对象为单位,比如一个 hash 结构的过期是整个 hash 对象的过期, 而不是其中的某个子 key 。 特别注意的地方是如果一个字符串已经设置了过期时间,然后你调用了 set 方法修改了它,它的过期时间会消失。

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5709559.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存