redis,如何选择性加载key数据

官方在26版本推出了一个新的功能-pipe mode，即将支持Redis协议的文本文件直接通过pipe导入到服务端。

说来拗口，具体实现步骤如下：

1 新建一个文本文件，包含redis命令

SET Key0 Value0

SET Key1 Value1

SET KeyN ValueN

如果有了原始数据，其实构造这个文件并不难，譬如shell，python都可以

2 将这些命令转化成Redis Protocol。

因为Redis管道功能支持的是Redis Protocol，而不是直接的Redis命令。

如何转化，可参考后面的脚本。

3 利用管道插入

cat datatxt | redis-cli --pipe

Shell VS Redis pipe

下面通过测试来具体看看Shell批量导入和Redis pipe之间的效率。

测试思路：分别通过shell脚本和Redis pipe向数据库中插入10万相同数据，查看各自所花费的时间。

Shell

脚本如下：

#!/bin/bashfor ((i=0;i<100000;i++))doecho -en "helloworld" | redis-cli -x set name$i >>redislog

done

每次插入的值都是helloworld，但键不同，name0，name1name99999。

Redis pipe

Redis pipe会稍微麻烦一点

1> 首先构造redis命令的文本文件

在这里，我选用了python

#!/usr/bin/pythonfor i in range(100000):    print 'set name'+str(i),'helloworld'

# python 1py > redis_commandstxt

# head -2 redis_commandstxt

set name0 helloworld

set name1 helloworld

2> 将这些命令转化成Redis Protocol

在这里，我利用了github上一个shell脚本，

#!/bin/bashwhile read CMD; do

# each command begins with {number arguments in command}\r\n

XS=($CMD); printf "${#XS[@]}\r\n"

# for each argument, we append ${length}\r\n{argument}\r\n  for X in $CMD; do printf "\$${#X}\r\n$X\r\n"; donedone < redis_commandstxt

# sh 20sh > redis_datatxt

# head -7 redis_datatxt

3$3set

$5name0

$10helloworld

至此，数据构造完毕。

测试结果

如下：

时间消耗完全不是一个量级的。

最后，来看看pipe的实现原理，

redis-cli --pipe tries to send data as fast as possible to the server

At the same time it reads data when available, trying to parse it

Once there is no more data to read from stdin, it sends a special ECHO command with a random 20 bytes string: we are sure this is the latest command sent, and we are sure we can match the reply checking if we receive the same 20 bytes as a bulk reply

Once this special final command is sent, the code receiving replies starts to match replies with this 20 bytes When the matching reply is reached it can exit with success

即它会尽可能快的将数据发送到Redis服务端，并尽可能快的读取并解析数据文件中的内容，一旦数据文件中的内容读取完了，它会发送一个带有20个字节的字符串的echo命令，Redis服务端即根据此命令来确认数据已插入完毕。

总结：

后续有童鞋好奇，构造redis命令的时间和将命令转化为protocol的时间，这里一并贴下：

[root@mysql-server1 ~]# time python 1py > redis_commandstxt

real    0m0110s

user    0m0070s

sys    0m0040s

[root@mysql-server1 ~]# time sh 20sh > redis_datatxt

real    0m7112s

user    0m5861s

sys    0m1255s

第一，大量的数据是不会考虑放在JVM内存中；

第二，如果需要缓存大量的dto，动态数据（又称过程数据）一般用的是redis；如果是静态，系统启动时就加载的大量配置，一般考虑放ehcache。

第三，由于redis用的是物理内存，不是JVM内存，一般情况下往redis里丢千万级别的记录数基本不影响性能，

        String是redis最基础和最常用的数据结构，其值最大能存储 512MB，可以是简单字符串、复杂的xml/json的字符串、二进制图像或者音频的字符串、以及可以是数字的字符串。String底层使用的是SDS，是Redis的一种基本数据结构，主要是用于存储字符串和整数。

    21  set命令  set key value

        用于设置给定key的值，如果key存储了其他值，覆盖写入，无视类型。

    22 get命令 get key

        获取指定key的值，如果key不存在返回nil

    23 getset命令 get key [value]

        该命令用于获取指定的key的旧值，然后按照新值对key进行赋值。当key中没有旧值的时候返回nil。

    24 mget命令 get key1 [key2 keyN]

        返回多个key的值，某个key不存在时返回nil

    25 decr命令 decr key

        对key对应的数字做减1 *** 作。如果key不存在，那么在 *** 作之前，这个key对应的值会被置为0。如果key有一个错误类型的value或者是一个不能表示成数字的字符串，就返回错误。

    26 incr命令 incr key

        对key对应的数字做减1 *** 作。如果key不存在，那么在 *** 作之前，这个key对应的值会被置为0。如果key有一个错误类型的value或者是一个不能表示成数字的字符串，就返回错误。

    27 append命令 append key value

    如果 key 已经存在，并且值为字符串，那么这个命令会把 value 追加到原来值（value）的结尾。 如果 key 不存在，那么它将首先创建一个空字符串的key，再执行追加 *** 作，这种情况 APPEND 将类似于 SET *** 作。返回append后字符串值（value）的长度。

    31 SDS动态字符串

        struct sdshdr {

            unsigned int len;

            unsigned int free;

            char buf[];

        }

        其中，buf表示数据空间，用于存储字符串；len表示buf中已占用的字节数；free表示空闲的字节数。

    32 新的SDS结构

        增加了一个flags来标识类型，用一个字节（8位）来存储，前3位表示字符串的类型；剩余5位，存储长度小于32的段字符串。

        创建 SDS 的大致流程是这样的：首先根据字符串长度计算得到 type，根据 type 计算头部所需长度，然后动态分配内存空间。

        注意：① 创建空字符串时，SDS_TYPE_5 被强制转换为 SDS_TYPE_8（原因是创建空字符串后，内容可能会频繁更新而引发扩容 *** 作，故直接创建为 sdshdr8）

                    ②长度计算有 +1 *** 作，因为结束符 \0 会占用一个长度的空间。

                    ③返回的是指向 buf 的指针 s。

    41 session共享

    42 计数器（商品浏览记录）

     43 访问限速

    list类型用来存储多个有序的字符串，列表当中的每一个字符看做一个元素，一个列表当中可以存储有一个或者多个元素，redis的list支持存储2^32次方-1个元素。

    Redis可以从两端push和pop元素，支持读取指定范围或者制定下表的元素。list是一种灵活的链式结构，可以充当队列或者栈的角色。

    list的元素是有序的，且列表内的元素是可以重复的。

    注意：Redis32以前，列表底层的编码是ziplist(压缩列表)和linkedlist(双向列表)实现的，因为双线列表占用的内存比压缩列表多，所以当创建新的列表键时，列表会优先考虑用压缩列表，只有在需要的时候才会转换到双向列表实现。32以后重新引入了一个quicklist，列表底层都是有quicklist实现，quicklist是一个由ziplist组成的双向列表，每个节点使用ziplist来存储数据。

       21 Lpush命令 lpush key value

        将一个或多个值插入到列表头部。 如果 key 不存在，则创建list，然后再插入数据 *** 作。 当 key 存在但不是列表类型时，返回一个错误。

    22 Rpush命令 rpush key value

        将一个或多个值从list的尾部插入

    23 Blpop命令 blpop key seconds

        Blpop是取出列表的第一个元素，如果list中没有元素则会一直等到到超时，或者发现有数据为止，seconds是指定多少秒返回。如没有数据，则返回nil。

        同理，Bropo为移除list列表的最后一个元素

    24 Linsert命令 linsert key before/after val1 val2

        在list列表的某一个元素前或者后插入另外一个元素。当指的的元素不存在时，不执行任何动作。如果列表不存在时，视为空列表，不执行任何动作。

    25 Lindex命令 lindex key index

        通过链表的下标获取列表中的元素，可以是-1表示链表最后一个元素，-2代表倒数第二个元素，没有返回nil

    26 Llen命令 llen key

        返回list的长度，如果list不存在，返回0

    27 Lrange命令

        返回指定list区间内的元素，区间以偏移量start和end决定。其中 0 表示列表的第一个元素， 1 表示列表的第二个元素，以此类推。 也可以使用负数下标，以 -1 表示列表的最后一个元素， -2 表示列表的倒数第二个元素，以此类推。

    51 队列秒杀抢购

        list类型的lpop和rpush（或者反过来，lpush和rpop）能实现队列的功能，故而可以用Redis的list类型实现简单的点对点的消息队列。不过不推荐在实战中这么使用，因为现在已经有Kafka、NSQ、RabbitMQ等成熟的消息队列了，它们的功能已经很完善了，除非是为了更深入地理解消息队列，不然没必要去重复造轮子。

    52 排行榜

        list类型的lrange命令可以分页查看队列中的数据。可将每隔一段时间计算一次的排行榜存储在list类型中。只有定时计算的排行榜才适合使用list类型存储，与定时计算的排行榜相对应的是实时计算的排行榜，list类型不能支持实时计算的排行榜。

使用CRT远程登录装有redis的机器

执行命令redis-cli hkeys key >key_valuetxt，其中key为你所设置的名称，key_valuetxt中的key_value为你取的导出后的文件名称

以上就是关于redis,如何选择性加载key数据全部的内容，包括:redis,如何选择性加载key数据、Java如何获取Redis中存储的大量内容、Redis数据结构之string类型和list类型等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！