刚刚问我,redis持久化数据到数据库是怎么 *** 作的

刚刚问我,redis持久化数据到数据库是怎么 *** 作的,第1张

1、 快照的方式持久化到磁盘

自动持久化规则配置

save 900 1

save 300 10

save 60 10000

上面的配置规则意思如下:

# In the example below the behaviour will be to save:

# after 900 sec (15 min) if at least 1 key changed

# after 300 sec (5 min) if at least 10 keys changed

# after 60 sec if at least 10000 keys changed

redis也可以关闭自动持久化,注释掉这些save配置,或者save “”

如果后台保存到磁盘发生错误,将停止写 *** 作.

stop-writes-on-bgsave-error yes

使用LZF压缩rdb文件,这会耗CPU, 但是可以减少磁盘占用.

rdbcompression yes

保存rdb和加载rdb文件的时候检验,可以防止错误,但是要付出约10%的性能,可以关闭他,提高性能。

rdbchecksum yes

导出的rdb文件名

dbfilename dump.rdb

设置工作目录, rdb文件会写到该目录, append only file也会存储在该目录下.

dir ./

Redis自动快照保存到磁盘或者调用bgsave,是后台进程完成的,其他客户端仍然和可以读写redis服务器,后台保存快照到磁盘会占用大量内存。调用save保存内存中的数据到磁盘,将阻塞客户端请求,直到保存完毕。

调用shutdown命令,Redis服务器会先调用save,所有数据持久化到磁盘之后才会真正退出。

对于数据丢失的问题:

如果服务器crash,从上一次快照之后的数据将全部丢失。所以在设置保存规则的时候,要根据实际业务设置允许的范围。

如果对于数据敏感的业务,在程序中要使用恰当的日志,在服务器crash之后,通过日志恢复数据。

2、 Append-only file 的方式持久化

另外一种方式为递增的方式,将会引起数据变化的 *** 作, 持久化到文件中, 重启redis的时候,通过 *** 作命令,恢复数据.

每次执行写 *** 作命令之后,都会将数据写到server.aofbuf中。

# appendfsync always

appendfsync everysec

# appendfsync no

当配置为always的时候,每次server.aofbuf中的数据写入到文件之后,才会返回给客户端,这样可以保证数据不丢,但是频繁的IO *** 作,会降低性能。

everysec每秒写一次,这可能会丢失一秒内的 *** 作。

aof最大的问题就是随着时间append file会变的很大,所以我们需要bgrewriteaof命令重新整理文件,只保留最新的kv数据。

要看你用的是什么语言,如果是php的,你可以这样考虑,

首先一个是将这两个分为两个队列来实现, 一个用来实现消息优先级,一个来实现定时发送

用的是redis的有序集合,用zadd添加时,将score比做是优先级,也可以用时间戳来当做score,用来表示时间

将消息加入优先级的队列,将1,2替换为时间就是定时发送的队列了

$redis = new Redis()

$redis->connect('127.0.0.1', 6379)

$redis->zAdd('zset1', 1, 'message')

$redis->zAdd('zset1', 2, 'message2')

从队列中取出数据

$redis->zRevRangeByScore('zset1, '+inf', '-inf', array('withscores'=>false, 'limit'=>array(0,20)))

这条语句表示从zset1这个队列里按照score从最大(+inf)到最小(-inf)的排序中取出20条,不带score,如果想要从小到大可以用 zRangeByScore

如果你想让这些都运行在命令行下,可以参考下面来,当然这些是经过删减的

<?php

while (true) {

$pid = pcntl_fork()

if ($pid == -1) {

echo date('Y-m-d H:i:s') . "fork失败!\n"

} else if ($pid == 0) {

$redis = new Redis()

$redis->connect('127.0.0.1', 6379)

$redis->zRevRangeByScore('zset1', '+inf', '-inf', array('withscores'=>false, 'limit'=>array(0,20)))

exit

} else {

pcntl_wait($status)

}

}

pcntl_fork是PHP中的生成子进程,当调用该函数时,会返回一个进程pid,当pid为0时表明是在子进程中,所以把要执行的东西全放这里,这样就实现了

应用Redis实现数据的读写,同时利用队列处理器定时将数据写入mysql,此种情况存在的问题主要是如何保证mysql与redis的数据同步,二者数据同步的关键在于mysql数据库中主键,方案是在redis启动时去mysql读取所有表键值存入redis中,往redis写数据时,对redis主键自增并进行读取,若mysql更新失败,则需要及时清除缓存及同步redis主键。

String tbname = "login"

//获取mysql表主键值--redis启动时

long id = MySQL.getID(tbname)

//设置redis主键值--redis启动时

redisService.set(tbname, String.valueOf(id))

System.out.println(id)

long l = redisService.incr(tbname)

System.out.println(l)

Login login = new Login

login.setId(l)

login.setName("redis")

redisService.hmset(String.valueOf(login.getId), login)

boolean b = MySQL.insert("insert into login(id,name) values(" + login.getId + ",'" + login.getName + "')")

/**

*

* 队列处理器更新mysql失败:

*

* 清除缓存数据,同时主键值自减

*/

if (!b){

redisService.delKeyAndDecr(tbname, "Login:"+String.valueOf(login.getId))

}

System.out.println(redisService.exists("Login:"+String.valueOf(login.getId)))

System.out.println(redisService.get(tbname))


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/6757921.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-03-27
下一篇 2023-03-27

发表评论

登录后才能评论

评论列表(0条)

保存