拆解的项目源码地址:
https://github.com/xk4848123/ef-redis
感谢开源!!!
如何剖析一个项目之Redis(一)
如何剖析一个项目之Redis(二)
如何剖析一个项目之Redis(三)
这是一款阉割的Java版的redis,通信基于Netty编写。我已经知到一个redis-cli发送一个命令过来后,是如何解析处理返回报文的。aof机制是如何实现得。 已知的缺陷
我们用一张图表示命令处理过程。
缺陷一:aof是在CommandDecoder中的被放入aof缓冲区的(runtimeRespQueue阻塞队列),也就是在命令未执行成功就让它去写入aof,但是这样就有可能在该命令执行失败的时候也写入aof文件。缺陷二:CommandDecoder是多线程处理的,CommandHandler是单线程处理的,实际命令处理在CommandHandler中,如果aof写入在CommandDecoder中处理,会导致CommandHandler的处理顺序和aof文件中记录的命令顺序不一致,进而导致重启redis后内存中数据和之前不一样。
public class CommandDecoder extends LengthFieldbasedframeDecoder { private static final Logger LOGGER = Logger.getLogger(CommandDecoder.class); private static final int MAX_frame_LENGTH = Integer.MAX_VALUE; private Aof aof = null; public CommandDecoder(Aof aof) { this(); this.aof = aof; } public CommandDecoder() { super(MAX_frame_LENGTH, 0, 4); } @Override public Object decode(ChannelHandlerContext ctx, ByteBuf in) throws Exception { TRACEID.newTraceId(); try { Resp resp = Resp.decode(in); if (!(resp instanceof RespArray)) { throw new IllegalStateException("客户端发送的命令格式有问题"); } Command command; command = CommandFactory.from((RespArray) resp); if (command == null) { ctx.writeAndFlush(new Errors("unsupport command:" + ((BulkString) ((RespArray) resp).getArray()[0]).getContent().toUtf8String())); } else { if (aof != null && command instanceof WriteCommand) { aof.put(resp); } return command; } } catch (Throwable t) { LOGGER.error("解码命令", t); } return null; } }
缺乏aof重写机制,会导致aof膨胀严重。
aof重写机制
该redis服务采用的过期策略只是惰性删除,并且惰性删除时没有将删除指令添加到aof,这样会导致重启后该键值对又被重新加入内存。没有内存淘汰机制,也就是说如果一直插入新的键值对内存是会持续增长直到OOM。
Redis的过期处理策略
Redis的内存淘汰机制
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)