大数据多处理

大数据多处理

这听起来像是队列的理想用例：http :
//docs.python.org/2/library/multiprocessing.html#exchanging-objects-between-
processes

只需将结果从汇集的工作人员输入队列中，然后将其摄入主服务器即可。

请注意，除非排干队列的速度几乎与工人填充队列的速度一样快，否则您仍然可能会遇到内存压力问题。您可以限制队列大小（队列中可容纳的最大对象数），在这种情况下，池化工作器将阻塞

queue.put

语句，直到队列中有可用空间为止。这将限制内存使用量。
但是， 如果执行此 *** 作，则可能是时候重新考虑是否需要全部池化和/或使用更少的工作程序是否有意义。