使用rdbtools+MySQL对Redis进行内存占用分析

线上某IM业务基于Redis作为持久化层实现，近期出现Redis内存告警，于是对线上Redis各Key内存占用进行分析，便于进行业务改造。

虽然Redis4.0以后提供了memory命令进行内存查询，但是对于存在大量业务key来说可能不够方便，只看统计结果又不够详细不好定位具体业务，选择使用rdbtools来进行分析。

运维提供了阿里云Redis自动备份文件 backupfile.rdb 。当然也可以自行到Redis目录下获取 dump.rdb 文件。

我这里使用的是linux环境，确保python及pip已经正确安装。

rdbtools项目地址： https://github.com/sripathikrishnan/redis-rdb-tools

rdbtools安装，以pip3为例：

rdbtools生成内存报告：（更多使用方法可以参考官方文档）

执行内存分析后CPU会跑满，耐心等待即可。我这里630M共计500万个key的rdb文件运行了接近10分钟。

执行完成后在当前目录文件生成了内存报告文件 memory.csv 。

由于生成的内存报告文件 memory.csv 可能很大，直接打开进行分析处理存在限制，将数据导入MySQL。

创建表：

此表字段与csv文件字段一一对应，然后将csv文件数据导入该表。

最后通过排序以及key的模糊查询等手段，即可完成Redis内存分析。

应用Redis实现数据的读写，同时利用队列处理器定时将数据写入mysql。

同时要注意避免冲突，在redis启动时去mysql读取所有表键值存入redis中，往redis写数据时，对redis主键自增并进行读取，若mysql更新失败，则需要及时清除缓存及同步redis主键。

这样处理，主要是实时读写redis，而mysql数据则通过队列异步处理，缓解mysql压力，不过这种方法应用场景主要基于高并发，而且redis的高可用集群架构相对更复杂，一般不是很推荐。

二者数据同步的关键在于mysql数据库中主键，方案是在redis启动时区mysql读取所有表键值存入redis中，往redis写数据是，对redis主键自增并进行读取，若mysql更新失败，则需要及时清除缓存及同步redis主键。

参考代码如下：

String tbname = "login"

//获取mysql表主键值--redis启动时

long id = MySQL.getID(tbname)

//设置redis主键值--redis启动时

redisService.set(tbname, String.valueOf(id))

System.out.println(id)

long l = redisService.incr(tbname)

System.out.println(l)

Login login = new Login()

login.setId(l)

login.setName("redis")

redisService.hmset(String.valueOf(login.getId()), login)

boolean b = MySQL.insert("insert into login(id,name) values(" + login.getId()

+ ",'" + login.getName() + "')")

/**

*

* 队列处理器更新mysql失败：

*

* 清除缓存数据，同时主键值自减

*/

if (!b)

{

redisService.delKeyAndDecr

(tbname, "Login:"+String.valueOf(login.getId()))

// redisService.delete("Login:"+String.valueOf(login.getId()))

//redisService.decr(tbname)

}

System.out.println(redisService.exists("Login:"+String.valueOf(login.getId())))

System.out.println(redisService.get(tbname))

---