因在缓存对象中增加字段,导致Redis出现反序列化失败的问题

因在缓存对象中增加字段,导致Redis出现反序列化失败的问题,第1张

因为业务需求的需要,我们需要在原来项目中的一个DTO类中新增两个字段(我们项目使用的是dubbo架构,这个DTO在A项目/服务的domain包中,会被其他的项目如B、C、D引用到)。但是这个DTO对象已经在Redis缓存中存在了, 如果我们直接向类中增加字段而不做任何处理的话,那么查询 *** 作查出来的缓存对象就会报反序列化失败的错误,从而影响正常的业务流程 ,那么来看一下我的解决方案吧。

我们的正式环境和预发布环境是共用Redis和Mysql。如果修改了DTO且没有加@JsonIgnoreProperties(ignoreUnknown = true)这个注解。

那么DTO所在的A项目发到预发布之后,会启动一个后台定时任务把最新的DTO对象刷新到缓存中去,但是除了这个工程以外的其他依赖服务如果没有发的话,那么他们jar包里面的domain还是旧的DTO。那么这个时候取出来的缓存(最新的DTO的缓存)就会有反序列化的错误,发包的延迟和预发布验证的时间都会导致线上反序列化失败,从而阻塞业务。

解决方案就是升级缓存的版本号(修改原来缓存DTO的Redis的Key值)

缓存key升级版本号,在其他未更新的应用中的缓存key已经在跑的jar包里面,他们的key是旧的,比如v1,那么v1对应的DTO就是旧的DTO。升级后新的DTO版本为v2那么发起来的自身服务刷新最新的DTO缓存是放到v2的key里面的,即v2->新的DTO,v1->旧的DTO。这样可以保证不会有反序列化的问题。

改版本号一定要在第一次发的时候改上去才好,不然你按v1发的版,发现问题再改成v2已经就晚了,因为已经把新的DTO刷到v1里面了,线上的依赖服务里面的domain包就是v1捞出来肯定异常。如果发生这种情况只能再发v2版本到预发布,同时删掉线上v1的缓存。

我是 「翎野君」 ,感谢各位朋友的: 点赞 收藏 评论 ,我们下期见。

redis开创了一种新的数据存储思路,使用redis,我们不用在面对功能单调的数据库时,把精力放在如何把大象放进冰箱这样的问题上,而是利用redis灵活多变的数据结构和数据 *** 作,为不同的大象构建不同的冰箱。

redis常用数据类型

redis最为常用的数据类型主要有以下五种:

string

hash

list

set

sorted set

在具体描述这几种数据类型之前,我们先通过一张图了解下redis内部内存管理中是如何描述这些不同数据类型的:

首先redis内部使用一个redisobject对象来表示所有的key和value,redisobject最主要的信息如上图所示:type代表一

个value对象具体是何种数据类型,encoding是不同数据类型在redis内部的存储方式,比如:type=string代表value存储的是

一个普通字符串,那么对应的encoding可以是raw或者是int,如果是int则代表实际redis内部是按数值型类存储和表示这个字符串的,当然

前提是这个字符串本身可以用数值表示,比如:"123"

"456"这样的字符串。

这里需要特殊说明一下vm字段,只有打开了redis的虚拟内存功能,此字段才会真正的分配内存,该功能默认是关闭状态的,该功能会在后面具体描述。通过

上图我们可以发现redis使用redisobject来表示所有的key/value数据是比较浪费内存的,当然这些内存管理成本的付出主要也是为了给

redis不同数据类型提供一个统一的管理接口,实际作者也提供了多种方法帮助我们尽量节省内存使用,我们随后会具体讨论。

下面我们先来逐一的分析下这五种数据类型的使用和内部实现方式:

string

常用命令:

set,get,decr,incr,mget 等。

应用场景:

string是最常用的一种数据类型,普通的key/value存储都可以归为此类,这里就不所做解释了。

实现方式:

string在redis内部存储默认就是一个字符串,被redisobject所引用,当遇到incr,decr等 *** 作时会转成数值型进行计算,此时redisobject的encoding字段为int。

hash

常用命令:

hget,hset,hgetall 等。

应用场景:

我们简单举个实例来描述下hash的应用场景,比如我们要存储一个用户信息对象数据,包含以下信息:

用户id为查找的key,存储的value用户对象包含姓名,年龄,生日等信息,如果用普通的key/value结构来存储,主要有以下2种存储方式:

第一种方式将用户id作为查找key,把其他信息封装成一个对象以序列化的方式存储,这种方式的缺点是,增加了序列化/反序列化的开销,并且在需要修改其中一项信息时,需要把整个对象取回,并且修改 *** 作需要对并发进行保护,引入cas等复杂问题。

第二种方法是这个用户信息对象有多少成员就存成多少个key-value对儿,用用户id+对应属性的名称作为唯一标识来取得对应属性的值,虽然省去了序列化开销和并发问题,但是用户id为重复存储,如果存在大量这样的数据,内存浪费还是非常可观的。

那么redis提供的hash很好的解决了这个问题,redis的hash实际是内部存储的value为一个hashmap,并提供了直接存取这个map成员的接口,如下图:

也就是说,key仍然是用户id,

value是一个map,这个map的key是成员的属性名,value是属性值,这样对数据的修改和存取都可以直接通过其内部map的key(redis里称内部map的key为field),

也就是通过 key(用户id) + field(属性标签)

就可以 *** 作对应属性数据了,既不需要重复存储数据,也不会带来序列化和并发修改控制的问题。很好的解决了问题。

这里同时需要注意,redis提供了接口(hgetall)可以直接取到全部的属性数据,但是如果内部map的成员很多,那么涉及到遍历整个内部map的

*** 作,由于redis单线程模型的缘故,这个遍历 *** 作可能会比较耗时,而另其它客户端的请求完全不响应,这点需要格外注意。

实现方式:

上面已经说到redis

hash对应value内部实际就是一个hashmap,实际这里会有2种不同实现,这个hash的成员比较少时redis为了节省内存会采用类似一维数组的方式来紧凑存储,而不会采用真正的hashmap结构,对应的value

redisobject的encoding为zipmap,当成员数量增大时会自动转成真正的hashmap,此时encoding为ht。

list

常用命令:

lpush,rpush,lpop,rpop,lrange等。

应用场景:

redis

list的应用场景非常多,也是redis最重要的数据结构之一,比如twitter的关注列表,粉丝列表等都可以用redis的list结构来实现,比较好理解,这里不再重复。

实现方式:

redis

list的实现为一个双向链表,即可以支持反向查找和遍历,更方便 *** 作,不过带来了部分额外的内存开销,redis内部的很多实现,包括发送缓冲队列等也都是用的这个数据结构。

set

常用命令:

sadd,spop,smembers,sunion 等。

应用场景:

redis

set对外提供的功能与list类似是一个列表的功能,特殊之处在于set是可以自动排重的,当你需要存储一个列表数据,又不希望出现重复数据时,set是一个很好的选择,并且set提供了判断某个成员是否在一个set集合内的重要接口,这个也是list所不能提供的。

实现方式:

set 的内部实现是一个

value永远为null的hashmap,实际就是通过计算hash的方式来快速排重的,这也是set能提供判断一个成员是否在集合内的原因。

sorted set

常用命令:

zadd,zrange,zrem,zcard等

使用场景:

redis sorted set的使用场景与set类似,区别是set不是自动有序的,而sorted

set可以通过用户额外提供一个优先级(score)的参数来为成员排序,并且是插入有序的,即自动排序。当你需要一个有序的并且不重复的集合列表,那么可以选择sorted

set数据结构,比如twitter 的public

前言:事先说明:在实际应用中这种做法设计需要各位读者自己设计,本文只提供一种思想。准备工作:安装后本地数redis服务器,使用mysql数据库,事先插入1000万条数据,可以参考我之前的文章插入数据,这里不再细说。我大概的做法是这样的,编码使用多线程访问我的数据库,在访问数据库前先访问redis缓存没有的话在去查询数据库,需要注意的是redis最大连接数最好设置为300,不然会出现很多报错。

贴一下代码吧

12345678910111213141516171819202122232425package select import redis.clients.jedis.JedisPoolimport redis.clients.jedis.JedisPoolConfig public class SelectFromMysql {       public static void main(String[] args) {            JedisPool pool                       JedisPoolConfig config = new JedisPoolConfig()//创建redis连接池            // 设置最大连接数,-1无限制            config.setMaxTotal(300)            // 设置最大空闲连接            config.setMaxIdle(100)            // 设置最大阻塞时间,记住是毫秒数milliseconds            config.setMaxWaitMillis(100000)            // 创建连接池            pool = new JedisPool(config, "127.0.0.1", 6379,200000)          for (int i =9222000i <=9222200i++) {//这里自己设置用多少线程并发访问                String teacherName=String.valueOf(i)                new ThreadToMysql(teacherName, "123456",pool).start()                              }     }} 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081package select import java.sql.Connectionimport java.sql.DriverManagerimport java.sql.ResultSetimport java.sql.SQLExceptionimport java.sql.Statement import redis.clients.jedis.Jedisimport redis.clients.jedis.JedisPool public class ThreadToMysql extends Thread {    public String teacherName    public String password    public JedisPool pool    public ThreadToMysql(String teacherName, String password,JedisPool pool) {//构造函数传入要查询登录的老师姓名和密码                 this.teacherName=teacherName        this.password=password        this.pool=pool    }         public void run() {         Jedis jedis = pool.getResource()         Long startTime=System.currentTimeMillis()//开始时间        if (jedis.get(teacherName)!=null) {             Long entTime=System.currentTimeMillis()//开始时间            System.out.println(currentThread().getName()+" 缓存得到的结果: "+jedis.get(teacherName)+" 开始时间:"+startTime+"  结束时间:"+entTime+"  用时:" +(entTime-startTime)+"ms")            pool.returnResource(jedis)            System.out.println("释放该redis连接")        } else {                   String url = "jdbc:mysql://127.0.0.1/teacher"          String name = "com.mysql.jdbc.Driver"          String user = "root"          String password = "123456"         Connection conn = null         try {            Class.forName(name)            conn = DriverManager.getConnection(url, user, password)//获取连接             conn.setAutoCommit(false)//关闭自动提交,不然conn.commit()运行到这句会报错        } catch (ClassNotFoundException e1) {            e1.printStackTrace()        } catch (SQLException e) {            e.printStackTrace()        }        if (conn!=null) {                        String sql="select t_name from test_teacher where t_name='"+teacherName+"' and t_password='"+password+"' "//SQL语句            String t_name=null            try {                Statement stmt=conn.createStatement()                ResultSet rs=stmt.executeQuery(sql)//获取结果集                if (rs.next()) {                    t_name=rs.getString("t_name")                    jedis.set(teacherName, t_name)                    System.out.println("释放该连接")                }                conn.commit()                stmt.close()                conn.close()            } catch (SQLException e) {                e.printStackTrace()            }finally {                pool.returnResource(jedis)                System.out.println("释放该连接")            }                Long end=System.currentTimeMillis()                System.out.println(currentThread().getName()+"  数据库得到的查询结果:"+t_name+"   开始时间:"+startTime+"  结束时间:"+end+"  用时:"+(end-startTime)+"ms")                                  } else {            System.out.println(currentThread().getName()+"数据库连接失败:")        }                      }    }     }

我的数据库表数据是这样的。可以看到我的t_name是1-10000000,密码固定123456.利用循环创建线程很好做传入循环的次数作为查询的t_name就行了

采用redis缓存替换加索引的方案

1.在200并发访问下:

第一次访问结果:由于第一次访问缓存不存在该数据,速度很慢

最慢90多秒

运行第二次访问后(redis数据库已存在数据)的结果:

最慢700多毫秒

2.当我尝试1000线程并发访问时redis直接挂掉,原因在于reids缓存并没有要查找的数据,就从数据库查找,1000个线程同时并发访问数据库等待时间太长了,造成redis连接等待超时(就算把redis的超时等待时间设置为100分钟也没用,会报redis连接被拒绝的错误)

3.当我利用循环事先把100万条数据插入redis缓存服务器后,在1万个线程并发访问测试下只需要5~6秒就拿到了查询结果,效率出奇的快,而且没有报任何错

4.在3的条件下我把并发线程提升到100万个时,测试在百万并发条件下查询性能,发现完全没有压力,每个线程也是几毫秒就能查到结果,这个时候限制我速度的就是电脑CPU了。我的测试电脑是4核的,处理100万个线程起来比较慢,下面是截图,运行到50多万个线程的时候我就停止了运行

好了,以上都是数据库查询的字段没有加索引直接利用redis缓存查找的

而且有个弊端,百万级的并发访问需要事先把数据放到缓存中,在实际中并不科学(因为并不知道那些是热点数据),下面来看看如何使用索引加缓存的效果

1.给t_name和t_password字段加组合索引

我们来看看在有索引且redis缓存事先没有数据的时候,创建100万个线程并发访问的结果

没问题,这样就完成了百万级别下的并发访问,但是这样我的程序创建线程很慢,因为我的电脑4核CPU的(但是要创建100万个线程),这个时候就是硬件设备的性能了,在设备硬件性能足够的条件下是没问题的

以下是我的总结:

1.我的优化方案中只有两种,一种是给查询的字段加组合索引。另一种是给在用户和数据库中增加缓存

2.添加索引方案:面对1~2千的并发是没有压力的,在往上则限制的瓶颈就是数据库最大连接数了,在上面中我用show global status like 'Max_used_connections’查看数据库可以知道数据库最大响应连接数是5700多,超过这个数tomcat直接报错连接被拒绝或者连接已经失效

3.缓存方案:在上面的测试可以知道,要是我们事先把数据库的千万条数据同步到redis缓存中,瓶颈就是我们的设备硬件性能了,假如我们的主机有几百个核心CPU,就算是千万级的并发下也可以完全无压力,带个用户很好的。

4.索引+缓存方案:缓存事先没有要查询的数据,在一万的并发下测试数据库毫无压力,程序先通过查缓存再查数据库大大减轻了数据库的压力,即使缓存不命中在一万的并发下也能正常访问,在10万并发下数据库依然没压力,但是redis服务器设置最大连接数300去处理10万的线程,4核CPU处理不过来,很多redis连接不了。我用show global status like 'Max_used_connections'查看数据库发现最大响应连接数是388,这么低所以数据库是不会挂掉的。

5.使用场景:a.几百或者2000以下并发直接加上组合索引就可以了。b.不想加索引又高并发的情况下可以先事先把数据放到缓存中,硬件设备支持下可解决百万级并发。c.加索引且缓存事先没有数据,在硬件设备支持下可解决百万级并发问题。d.不加索引且缓存事先没有数据,不可取,要80多秒才能得到结果,用户体验极差。

6.原理:其实使用了redis的话为什么数据库不会崩溃是因为redis最大连接数为300,这样数据库最大同时连接数也是300多,所以不会挂掉,至于redis为什么设置为300是因为设置的太高就会报错(连接被拒绝)或者等待超时(就算设置等待超时的时间很长也会报这个错)。

最后说明:本文不代表实际应用开发场景,更多的是提供一种思想,一种解决方案,如有错误,请指正,谢谢


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/bake/11409639.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-15
下一篇 2023-05-15

发表评论

登录后才能评论

评论列表(0条)

保存