从multiprocessing.Queue获得近LIFO行为的干净方法?(或什至只是*不是*近FIFO)

从multiprocessing.Queue获得近LIFO行为的干净方法?(或什至只是*不是*近FIFO),第1张

从multiprocessing.Queue获得近LIFO行为的干净方法?(或什至只是*不是*近FIFO)

我查看了

Lib/multiprocessing/queues.py
安装在Python安装中的Queue类(Python
2.7,但与我简短检查过的Python 3.2的版本没有明显不同)。我了解它的工作原理:

队列对象维护两组对象。一组是由所有进程共享的多进程安全基元。其他每个进程分别创建和使用。

跨过程对象是在

__init__
方法中设置的:

  1. Pipe
    两端都有一个对象另存为
    self._reader
    self._writer
  2. 一个
    BoundedSemaphore
    对象,该对象计算(并有选择地限制)队列中有多少个对象。
  3. 一个
    Lock
    用于读取管道对象,并在非Windows平台的另一个写作。(我认为这是因为在Windows上写入管道本质上是多进程安全的。)

每个进程对象在

_after_fork
_start_thread
方法中设置:

  1. collections.deque
    对象用于缓冲写入管道。
  2. threading.condition
    当缓冲区不为空时用于发信号的对象。
  3. threading.Thread
    ,做实际的写作对象。它是延迟创建的,因此直到在给定进程中请求对队列的至少一次写入之前,它才存在。
  4. Finalize
    进程结束时清理对象的各种对象。

get
队列中的A非常简单。您获得了读取锁,减少了信号量,并从Pipe的读取端获取了一个对象。

A

put
更复杂。它使用多个线程。调用者获取
put
条件的锁,然后将其对象添加到缓冲区中并在解锁条件之前发出信号。如果信号量尚未运行,它还会增加信号量并启动它。

编写器线程在该

_feed
方法中永远循环(直到取消)。如果缓冲区为空,则等待
notempty
条件。然后,它从缓冲区中获取一个项目,获取写锁(如果存在)并将该项目写入Pipe。


因此,鉴于所有这些,您可以对其进行修改以获取LIFO队列吗?这似乎并不容易。管道本质上是FIFO对象,尽管Queue不能整体保证FIFO的行为(由于来自多个进程的写入的异步特性),但它总是主要是FIFO。

如果只有一个使用者,则可以

get
从队列中将对象添加到自己的本地进程堆栈中。尽管使用共享内存,但有一定限制的堆栈不会太难,因此很难做到多用户堆栈。您需要一个锁,一对条件(用于在完全状态和空状态下进行阻塞/信号发送)​​,一个共享的整数值(用于保存的值的数量)和一个适当类型的共享数组(用于值本身)。



欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zaji/5587699.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-14
下一篇 2022-12-15

发表评论

登录后才能评论

评论列表(0条)

保存