我查看了
Lib/multiprocessing/queues.py安装在Python安装中的Queue类(Python
2.7,但与我简短检查过的Python 3.2的版本没有明显不同)。我了解它的工作原理:
队列对象维护两组对象。一组是由所有进程共享的多进程安全基元。其他每个进程分别创建和使用。
跨过程对象是在
__init__方法中设置的:
Pipe
两端都有一个对象另存为self._reader
和self._writer
。- 一个
BoundedSemaphore
对象,该对象计算(并有选择地限制)队列中有多少个对象。 - 一个
Lock
用于读取管道对象,并在非Windows平台的另一个写作。(我认为这是因为在Windows上写入管道本质上是多进程安全的。)
每个进程对象在
_after_fork和
_start_thread方法中设置:
- 甲
collections.deque
对象用于缓冲写入管道。 threading.condition
当缓冲区不为空时用于发信号的对象。- 一
threading.Thread
,做实际的写作对象。它是延迟创建的,因此直到在给定进程中请求对队列的至少一次写入之前,它才存在。 Finalize
进程结束时清理对象的各种对象。
get队列中的A非常简单。您获得了读取锁,减少了信号量,并从Pipe的读取端获取了一个对象。
A
put更复杂。它使用多个线程。调用者获取
put条件的锁,然后将其对象添加到缓冲区中并在解锁条件之前发出信号。如果信号量尚未运行,它还会增加信号量并启动它。
编写器线程在该
_feed方法中永远循环(直到取消)。如果缓冲区为空,则等待
notempty条件。然后,它从缓冲区中获取一个项目,获取写锁(如果存在)并将该项目写入Pipe。
因此,鉴于所有这些,您可以对其进行修改以获取LIFO队列吗?这似乎并不容易。管道本质上是FIFO对象,尽管Queue不能整体保证FIFO的行为(由于来自多个进程的写入的异步特性),但它总是主要是FIFO。
如果只有一个使用者,则可以
get从队列中将对象添加到自己的本地进程堆栈中。尽管使用共享内存,但有一定限制的堆栈不会太难,因此很难做到多用户堆栈。您需要一个锁,一对条件(用于在完全状态和空状态下进行阻塞/信号发送),一个共享的整数值(用于保存的值的数量)和一个适当类型的共享数组(用于值本身)。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)