Linux里面什么是数据持久化？

数据持久化顾名思义就是把程序中的数据以某种形式保存到某存贮介质中，以达到持久化的目的。当程序运行时，一些数据是临时保存在内存中，一旦退出系统，这些数据就丢失了。那么，使用某种手段将数据保存在硬盘上或者数据库中，这样即使退出系统后又重新启动系统，那么这些数据仍然可以重新找回来。

例如管理员向一个用户管理系统中添加了一个用户的资料，那么这个系统需要将新添加的资料保存到数据库中，否则系统退出或者电脑重启后该用户资料就会丢失。将数据从内存保存到数据库中，这便是数据的持久化。当然，数据库只是持久化方式中的一种，也可以保存在其他的永久存贮介质中。

图为数据持久化的过程示意图。

持久化（Persistence），即把数据（如内存中的对象）保存到可永久保存的存储设备中（如磁盘）。持久化的主要应用是将内存中的对象存储在数据库中，或者存储在磁盘文件中、XML数据文件中等等。

持久化是将程序数据在持久状态和瞬时状态间转换的机制。

DBC就是一种持久化机制。文件IO也是一种持久化机制。

日常持久化的方法

在一定周期内保持不变就是持久化,持久化是针对时间来说的。数据库中的数据就是持久化了的数据,只要你不去删除或修改。比如在浏览器中一次Session会话中Session对象变量也是不变的,是Session容器中持久化。对象持久化的方式有很多种,根据周期不同有,page,Session,Application。对象序列化机制对于需要将对象的状态保存到文件中，而后能够通过读入对象状态来重新构造对象，恢复程序状态. 对象序列化的过程是对象持久化的方法之一,把对象保存到文件中。

简单的理解持久化可以在二个层面：应用层和系统层、

应用层

如果关闭(shutdown)你的应用然后重新启动则先前的数据依然存在。

系统层

如果关闭(shutdown)你的系统（电脑）然后重新启动则先前的数据依然存在。

持久化是一种对象服务实现至少3个接口

，就是把内存中的对象保存到外存中，让以后能够取回。需要实现至少3个接口：

void Save(object o) 把一个对象保存到外存中

Object Load(object oid) 通过对象标识从外存中取回对象

boolExists(object oid) 检查外存中是否存在某个对象.

类似概念序列化

我们先跳开一下，看看另一个类似的有用概念：序列化Serialize也是一种对象服务，就是把内存中的对象序列化成流、或者把流反序列化成对象。需要实现2个接口：

void Serialize(Stream stream,object o) 把对象序列化到流中

object Deserialize(Stream stream) 把流反序列化成对象

序列化和持久化很相似，有些人甚至混为一谈，其实还是有区别的，序列化是为了解决对象的传输问题，传输可以在线程之间、进程之间、内存外存之间、主机之间进行。我之所以在这里提到序列化，是因为我们可以利用序列化来辅助持久化，可以说凡是可以持久化的对象都可以序列化，因为序列化相对容易一些（也不是很容易），所以主流的软件基础设施，比如.net和java，已经把序列化的框架完成了。

持久化方案可以分为关系数据库方案、文件方案、对象数据库方案、xml数据库方案

现今主流的持久化方案是关系数据库方案，

关系数据库方案不仅解决了并发的问题，更重要的是，关系数据库还提供了持久化服务之外的价值：统计分析功能。刚才我说到，凡是可以序列化的对象都可以持久化，极端的说，我们可以只建立一个表Object(OID,Bytes)，但基本上没有人这么做，因为一旦这样，我们就失去了关系数据库额外的统计分析功能。关系数据库和面向对象之间有一条鸿沟，因为二者模式不匹配，所以就存在一个OR映射问题。

Redis支持两种数据持久化方式：rdb方式和aof方式。前者会根据配置的规则定时将内存中的数据持久化到硬盘上，后者则是在每次执行写命令之后将命令记录下来。两种持久化方式可以单独使用，但是通常会将两者结合使用。

1、RDB方式

RDB方式的持久化是通过快照的方式完成的。当符合某种规则时，会将内存中的数据全量生成一份副本存储到硬盘上，这个过程称作”快照”，redis默认开启该持久化功能，具体配置如下：

save 900 1

save 300 10

save 60 10000

stop-writes-on-bgsave-error yes

rdbcompression yes

rdbchecksum yes

dbfilename dump.rdb

#文件名称

dir ./

#rdb文件存放路径

配置后系统会自动进行快照，save 60 10000表示60秒内有10000次写入，那么就会调用bgsave

除了系统自动进行快照外，我们也可以手动执行SAVE或BGSAVE命令主动进行快照 *** 作：

执行SAVE或BGSAVE命令

执行FLUSHALL命令

2、AOF方式

在使用Redis存储非临时数据时，一般都需要打开AOF持久化来降低进程终止导致的数据丢失，AOF可以将Redis执行的每一条写命令追加到硬盘文件中，这一过程会降低Redis的性能。

默认情况下，Redis没有开启AOF（append only file）持久化功能，可以通过在配置文件中作如下配置启用：

appendonly no    #是否开启aof，开启时将no改为yes

appendfilename "appendonly.aof"   持久化文件名称

auto-aof-rewrite-percentage 100

#当前AOF文件大小是上次日志重写得到AOF文件大小的二倍时，自动启动新的日志重写过程。

auto-aof-rewrite-min-size 64mb

#当前AOF文件启动新的日志重写过程的最小值，避免刚刚启动Reids时由于文件尺寸较小导致频繁的重写。

appendfsync :everysec (推荐配置)

#持久化策略

always (同步持久化，每次发生数据变更会被立即记录到磁盘，性能差但数据完整性比较好)

everysec (异步 *** 作，每秒记录，如果一秒钟内宕机，有数据丢失)

no  （将缓存回写的策略交给系统，linux 默认是30秒将缓冲区的数据回写硬盘的）

一般来说可以考虑同时使用两种持久化方案.

一、目录

1、工具

2、安装tcl

3、安装单机版redis

4、把redis设置为daemon进程，每次系统启动，redis进程一起启动

5、安装redis cluster

二、工具

2.1、tcl8.6.1-src.tar.gz

2.2、ruby-2.3.1.tar.gz

2.3、redis-4.1.1.gem

2.4、redis-3.2.8.tar.gz

2.5、openssl-1.0.2r.tar.gz

三、安装tcl（安装redis必须先要安装tcl）

3.1、把tcl8.6.1-src.tar.gz通过WinSCP上传到虚拟机中的/usr/local目录下

四、安装单机版redis

4.1、把redis-3.2.8.tar.gz通过WinSCP上传到虚拟机中的/usr/local目录下

4.2、依次运行如下命令：

tar -zxvf redis-3.2.8.tar.gz 解压文件

cd redis-3.2.8

make &&make test &&make install

五、把redis设置为daemon进程，每次系统启动，redis进程一起启动

5.1、将redis的utils目录下的redis_init_script脚本拷贝到linux的/etc/init.d目录中，将redis_init_script重命名为redis_6379，6379是我们希望这个redis实例监听的端口号

5.2、修改redis_6379脚本的第6行的REDISPORT，设置为相同的端口号（默认就是6379）

protected-mode no 取消保护模式，保护模式只能127.0.0.1访问

daemonize yes 让redis以daemon进程运行

pidfile /var/run/redis_6379.pid 设置redis的pid文件位置

bind192.168.3.110

port6379设置redis的监听端口号

dir /var/redis/6379 设置持久化文件的存储位置

logfile /var/log/redis/6379.log设置日志文件位置

5.6、启动redis，依次执行：

cd /etc/init.d,

chmod 777 redis_6379，赋读写执行的权限（chmod -R 777 * 是递归把该目录下的所有文件和其子文件全部赋权限）

./redis_6379 start 启动

5.7、确认redis进程是否启动，ps -ef | grep redis

5.8、让redis跟随系统启动自动启动

5.9、重启系统，不手动启动redis，直接连接redis，可以连接上，表示配置成功

此时一个单机版的redis的生产环境已经搭建好了，每次服务器重启，redis都会自动的启动

六、安装redis cluster

（redis cluster集群，要求至少3个master，去组成一个高可用，健壮的分布式的集群，每个master都建议至少给一个slave，3个master，3个slave）

6.1、前提，我在其它机器上启动了六个redis（安装步骤都如下）

2.2、创建三个目录：

mkdir -p /etc/redis-cluster 存放集群配置信息，自动生成配置

mkdir -p /var/log/redis redis日志

mkdir -p /var/redis/7001 存放redis的rdb文件和aof文件

6.3、将redis的utils目录下的redis_init_script脚本拷贝到linux的/etc/init.d目录中，将redis_init_script重命名为redis_7001，7001是我们希望这个redis实例监听的端口号,并修改redis_7001配置文件中的REDISPORT=7001

6.4、修改/etc/redis/7001.conf中的部分配置为生产环境

6.5、完成了一个redis环境的配置，依次再配置其余五个，分别为7002、7003、7004、7005、7006，每个启动脚本内，都修改对应的端口号

6.6、启动6个redis实例

6.7、创建集群（需要安装ruby、rubygems）

上述命令在部分机器上是可以直接运行完成，成功安装的，但在部分机器上运行第三条命令时会提示ruby版本太低、openssl找不到的问题，下面依次解决这两个问题：

6.8、再次运行gem install redis命令，报出两个错误

6.9、再次运行gem install redis命令，报出一个错误

6.10、再次运行gem install redis命令，报出一个错误

6.11、再次运行gem install redis命令

[root@ceshi01 local]# gem install redis

Successfully installed redis-4.1.1

Parsing documentation for redis-4.1.1

Done installing documentation for redis after 1 seconds

WARNING: Unable to pull data from ' https://rubygems.org/' : SSL_connect returned=1 errno=0 state=error: certificate verify failed ( https://api.rubygems.org/specs.4.8.gz )

1 gem installed

运行成功

此时Redis安装好，此三个工具也安装好了，这时我们来做一个Redis集群测试，在一台服务器中创建了6个Redis实例，开启6个Redis服务

redis-trib.rb create --replicas 1 192.168.3.104:7001 192.168.3.104:7002 192.168.3.105:7003 192.168.3.105:7004 192.168.3.106:7005 192.168.3.106:7006

[root@eshop-cache02 init.d]# redis-trib.rb create --replicas 1 192.168.3.104:7001 192.168.3.104:7002 192.168.3.105:7003 192.168.3.105:7004 192.168.3.106:7005 192.168.3.106:7006

此时一个redis集群环境就已经搭建好了，可以通过redis-trib.rb check 192.168.3.105:7003命令查看集群几点的信息

[root@eshop-cache02 init.d]# redis-trib.rb check 192.168.3.105:7004

redis cluster的优点：读写分离+高可用+多master

读写分离：每个master都有一个slave

高可用：master宕机，slave自动被切换过去

多master：横向扩容支持更大数据量

1、安装编译工具

yum install wget make gcc gcc-c++ zlib-devel openssl openssl-devel pcre-devel kernel keyutils patch perl

2、安装tcl组件包（安装Redis需要tcl支持）

下载： tcl8.6.1-src.tar.gz

上传tcl8.6.1-src.tar.gz到/usr/local/src目录

cd /usr/local/src #进入软件包存放目录

tar zxvf tcl8.6.1-src.tar.gz #解压

cd tcl8.6.1 #进入安装目录

cd unix

./configure --prefix=/usr --without-tzdata--mandir=/usr/share/man $([ $(uname -m) = x86_64 ] &&echo --enable-64bit) #配置

make #编译

sed -e "s@^(TCL_SRC_DIR=').*@1/usr/include'@" -e "/TCL_B/s@='(-L)?.*unix@='1/usr/lib@" -i tclConfig.sh

make install #安装

make install-private-headers

ln -v -sf tclsh8.6 /usr/bin/tclsh

chmod -v 755 /usr/lib/libtcl8.6.so

3、安装Redis

下载：http://download.redis.io/redis-stable.tar.gz

上传redis-stable到/usr/local/src目录

cd /usr/local/src

tar -zxvf redis-stable.tar.gz #解压

mv redis-stable /usr/local/redis #移动文件到安装目录

cd /usr/local/redis #进入安装目录

make #编译

make install #安装

cd /usr/local/bin #查看是否有下面文件，如果没有，拷贝下面文件到/usr/local/bin目录

cd /usr/local/redis

mkdir -p /usr/local/bin

cp -p redis-server /usr/local/bin

cp -p redis-benchmark /usr/local/bin

cp -p redis-cli /usr/local/bin

cp -p redis-check-dump /usr/local/bin

cp -p redis-check-aof /usr/local/bin

ln -s /usr/local/redis/redis.conf /etc/redis.conf #添加配置文件软连接

vi /etc/redis.conf #编辑

daemonize yes #设置后台启动redis

:wq! #保存退出

redis-server /etc/redis.conf #启动redis服务

redis-cli shutdown #关闭redis

vi /etc/sysctl.conf #编辑，在最后一行添加下面代码

vm.overcommit_memory = 1

:wq! #保存退出

sysctl -p #使设置立即生效

4、设置redis开机启动

vi /etc/init.d/redis #编辑，添加以下代码

#!/bin/sh

# chkconfig: 2345 90 10

# description: Redis is a persistent key-value database

# redisStartup script for redis processes

# processname: redis

redis_path="/usr/local/bin/redis-server"

redis_conf="/etc/redis.conf"

redis_pid="/var/run/redis.pid"

# Source function library.

. /etc/rc.d/init.d/functions

[ -x $redis_path ] || exit 0

RETVAL=0

prog="redis"

# Start daemons.

start() {

if [ -e $redis_pid -a ! -z $redis_pid ]then

echo $prog" already running...."

exit 1

fi

echo -n $"Starting $prog "

# Single instance for all caches

$redis_path $redis_conf

RETVAL=$?

[ $RETVAL -eq 0 ] &&{

touch /var/lock/subsys/$prog

success $"$prog"

}

echo

return $RETVAL

}

# Stop daemons.

stop() {

echo -n $"Stopping $prog "

killproc -d 10 $redis_path

echo

[ $RETVAL = 0 ] &&rm -f $redis_pid /var/lock/subsys/$prog

RETVAL=$?

return $RETVAL

}

# See how we were called.

case "$1" in

start)

start

stop)

stop

status)

status $prog

RETVAL=$?

restart)

stop

start

condrestart)

if test "x`pidof redis`" != xthen

stop

start

fi

*)

echo $"Usage: $0 {start|stop|status|restart|condrestart}"

exit 1

esac

exit $RETVAL

:wq! #保存退出

chmod 755 /etc/init.d/redis #添加脚本执行权限

chkconfig --add redis #添加开启启动

chkconfig --level 2345 redis on #设置启动级别

chkconfig --list redis #查看启动级别

service redis restart #重新启动redis

5、设置redis配置文件参数

mkdir -p /usr/local/redis/var #创建redis数据库存放目录

vi /etc/redis.conf #编辑

daemonize yes #以后台daemon方式运行redis

pidfile "/var/run/redis.pid" #redis以后台运行，默认pid文件路径/var/run/redis.pid

port 6379 #默认端口

bind 127.0.0.1 #默认绑定本机所有ip地址，为了安全，可以只监听内网ip

timeout 300 #客户端超时设置，单位为秒

loglevel verbose #设置日志级别，支持四个级别：debug、notice、verbose、warning

logfile stdout #日志记录方式，默认为标准输出，logs不写文件，输出到空设备/deb/null

logfile "/usr/local/redis/var/redis.log" #可以指定日志文件路径

databases 16 #开启数据库的数量

save 900 1

save 300 10

save 60 10000

创建本地数据库快照，格式：save * *

900秒内，执行1次写 *** 作

300秒内，执行10次写 *** 作

60秒内，执行10000次写 *** 作

rdbcompression yes #启用数据库lzf压缩，也可以设置为no

dbfilename dump.rdb #本地快照数据库名称

dir "/usr/local/redis/var/" #本地快照数据库存放目录

requirepass 123456 #设置redis数据库连接密码

maxclients 10000 #同一时间最大客户端连接数，0为无限制

maxmemory 1024MB #设定redis最大使用内存，值要小于物理内存，必须设置

appendonly yes #开启日志记录，相当于MySQL的binlog

appendfilename "appendonly.aof" #日志文件名，注意：不是目录路径

appendfsync everysec #每秒执行同步，还有两个参数always、no一般设置为everysec，相当于MySQL事物日志的写方式

:wq! #保存退出

service redis restart #重启

6、测试redis数据库

redis-cli -a 123456 #连接redis数据库，注意:-a后面跟redis数据库密码

set name 111cn.net #写数据

get name #读取数据

exit #退出redis数据库控制台

redis-benchmark -h 127.0.0.1 -p 6379 -c 1000 -n 100000 #1000个并发连接，100000个请求，测试127.0.0.1端口为6379的redis服务器性能

---