Python Redis pipeline *** 作和Redis乐观锁保持数据一致性

概述<divid=\"article_content\"class=\"article_contentclearfixcsdn-tracking-statistics\"data-pid=\"blog\"data-mod=\"popu_307\"data-dsm=\"post\">

<div ID="article_content" data-pID="blog" data-mod="popu_307" data-dsm="post">
<div >
<p >Redis是建立在TCP协议基础上的CS架构，客户端clIEnt对redis server采取请求响应的方式交互。

<p >redis 乐观锁：也可理解为版本号比较机制，主要是说在读取数据逇时候同时读取其版本号，然后在写入的时候，进行版本号比较，如果一致，则表明此数据在监听期间未被改变，可以写入，如果不一致说明此数据被修改过，不能写入，否则会导致数据不一致的问题。

<p >一般来说客户端从提交请求到得到服务器相应，需要传送两个tcp报文。

<p >设想这样的一个场景，你要批量的执行一系列redis命令，例如执行100次get key，这时你要向redis请求100次+获取响应100次。如果能一次性将100个请求提交给redis server，执行完成之后批量的获取相应，只需要向redis请求1次，然后批量执行完命令，一次性结果，性能是不是会好很多呢？

<p >答案是肯定的，节约的时间是客户端clIEnt和服务器redis server之间往返网络延迟的时间。这个时间可以用Ping命令查看。

<p >网络延迟高：批量执行，性能提升明显

<p >网络延迟低（本机）：批量执行，性能提升不明显

<p >某些客户端（java和python）提供了一种叫做pipeline的编程模式用来解决批量提交请求的方式。

<p >这里我们用python客户端来举例说明一下。

<p >

<h1 >1、pipeline
<p >网络延迟

<p >clIEnt与server机器之间网络延迟如下，大约是30ms。

<p >

<p >

<p >测试用例

<p >分别执行其中的try_pipeline和without_pipeline统计处理时间。

<div >

<span >import<span > redis
<span >import<span > time
<span >from concurrent.futures <span >import<span > ProcesspoolExecutor
r = redis.Redis(host=<span >'<span >10.93.84.53<span >',port=6379,password=<span >'<span >bigdata123<span >'<span >)
<span >def<span > try_pipeline():
start =<span > time.time()
with r.pipeline(transaction=<span >False) as p:
p.sadd(<span >'<span >seta<span >',1).sadd(<span >'<span >seta<span >',2).srem(<span >'<span >seta<span >',2).lpush(<span >'<span >Lista<span >',1).lrange(<span >'<span >Lista<span >',-1<span >)
p.execute()
<span >print time.time() -<span > start
<span >def<span > without_pipeline():
start =<span > time.time()
r.sadd(<span >'<span >seta<span >',1<span >)
r.sadd(<span >'<span >seta<span >',2<span >)
r.srem(<span >'<span >seta<span >',2<span >)
r.lpush(<span >'<span >Lista<span >',1<span >)
r.lrange(<span >'<span >Lista<span >',-1<span >)
<span >print time.time() -<span > start
<span >def<span > worker():
<span >while<span > True:
try_pipeline()
with ProcesspoolExecutor(max_workers=12<span >) as pool:
<span >for _ <span >in range(10<span >):
pool.submit(worker)

<p >

<p >结果分析

<p >try_pipeline平均处理时间：0.04659

<p >without_pipeline平均处理时间：0.16672

<p >我们的批量里有5个 *** 作，在处理时间维度上性能提升了4倍！

<p >网络延迟大约是30ms，不使用批量的情况下，网络上的时间损耗就有0.15s（30ms*5）以上。而pipeline批量 *** 作只进行一次网络往返，所以延迟只有0.03s。可以看到节省的时间基本都是网路延迟。

<p >

<h1 >2、pipeline与transation（事务）
<p >pipeline不仅仅用来批量的提交命令，还用来实现事务transation。

<p >这里对redis事务的讨论不会太多，只是给出一个demo。详细的描述你可以参见这篇博客。<a href="http://www.cnblogs.com/kangoroo/p/7535405.html" rel="nofollow" target="_blank">redis事务

<p >细心的你可能发现了，使用transaction与否不同之处在与创建pipeline实例的时候，transaction是否打开，默认是打开的。

<div >

<span >import<span > redis
<span >from redis <span >import<span > WatchError
<span >from concurrent.futures <span >import<span > ProcessPoolExecutor
r = redis.Redis(host=<span >'<span >127.0.0.1<span >',port=6379<span >)
<span >#<span > 减库存函数,循环直到减库存完成<span ><span > 库存充足,减库存成功,返回True<span ><span > 库存不足,减库存失败,返回False
<span >def<span > decr_stock():
</span><span &gt;#</span><span &gt; python中redis事务是通过pipeline的封装实现的</span>
<span >    with r.pipeline() as pipe:
<span >while<span > True:
<span >try<span >:
<span >#<span > watch库存键,multi后如果该key被其他客户端改变,事务 *** 作会抛出WatchError异常
pipe.watch(<span >'<span >stock:count<span >'<span >)
count = int(pipe.get(<span >'<span >stock:count<span >'<span >))
<span >if count > 0:  <span >#<span > 有库存
<span >#<span > 事务开始
pipe.multi() <span >#<span > 这里起始位置？？？？？？？？？？？？？？？
pipe.decr(<span >'<span >stock:count<span >'<span >)
<span >#<span > 把命令推送过去
<span >#<span > execute返回命令执行结果列表,这里只有一个decr返回当前值
<span >print<span > pipe.execute()[0]
<span >return<span > True
<span >else<span >:
<span >return<span > False
<span >except<span > WatchError,ex:
<span >#<span > 打印WatchError异常,观察被watch锁住的情况
<span >print<span > ex
pipe.unwatch()
<span >def<span > worker():
<span >while<span > True:
<span >#<span > 没有库存就退出
<span >if <span >not<span > decr_stock():
<span >break
<span >#<span > 实验开始<span >
<span > 设置库存为100
r.set(<span >"<span >stock:count<span >",100<span >)
<span >#<span > 多进程模拟多个客户端提交
with ProcessPoolExecutor(maxworkers=2<span >) as pool:
<span >for  <span >in range(10<span >):
pool.submit(worker)

出处：

502_6901@ controls="controls" >

总结

以上是内存溢出为你收集整理的Python Redis pipeline *** 作和Redis乐观锁保持数据一致性全部内容，希望文章能够帮你解决Python Redis pipeline *** 作和Redis乐观锁保持数据一致性所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。