multiprocessing.Pool：map_async和imap有什么区别？

multiprocessing.Pool：map_async和imap有什么区别？

imap

/

imap_unordered

和

map

/之间有两个主要区别

map_async

：

1. 他们消耗迭代的方式传递给他们。
2. 他们将结果返回给您的方式。

map

通过将iterable转换为列表（假设它还不是列表）来消耗iterable，将其分为多个块，然后将这些块发送到中的worker进程

Pool

。与将可迭代项中的每个项目一次在一个进程之间传递相比，将可迭代项拆分为多个块效果更好-
特别是在可迭代项较大的情况下。但是，将迭代器转换为列表以对其进行分块可能会具有很高的内存成本，因为整个列表都需要保留在内存中。

imap

不会将您提供的可迭代项变成一个列表，也不会将其分成多个块（默认情况下）。它将一次遍历可迭代的一个元素，并将它们分别发送给工作进程。这意味着您不会浪费将整个可迭代对象转换为列表的内存，但是这也意味着由于缺少分块，大型可迭代对象的性能会降低。但是，可以通过传递

chunksize

大于默认值1的参数来缓解这种情况。

imap

/

imap_unordered

和

map

/之间的另一个主要区别

map_async

是，使用

imap

/

imap_unordered

，您可以在工作人员准备就绪后立即开始接收它们的结果，而不必等待所有工作完成。使用

map_async

，

AsyncResult

会立即返回an
，但是您必须在处理完所有对象后才能实际从该对象检索结果，此时它会返回与之相同的列表

map

（

map

实际上是在内部实现的

map_async(...).get()

）。无法获得部分结果。您要么拥有整个结果，要么一无所有。

imap

并且

imap_unordered

都立即返回可迭代对象。使用时

imap

，结果将在准备好后立即从Iterable中产生，同时仍保留可迭代输入的顺序。使用

imap_unordered

，结果将在准备就绪后立即产生，无论输入可迭代的顺序如何。所以，说你有这个：

import multiprocessingimport timedef func(x):    time.sleep(x)    return x + 2if __name__ == "__main__":        p = multiprocessing.Pool()    start = time.time()    for x in p.imap(func, [1,5,3]):        print("{} (Time elapsed: {}s)".format(x, int(time.time() - start)))

这将输出：

3 (Time elapsed: 1s)7 (Time elapsed: 5s)5 (Time elapsed: 5s)

如果您使用

p.imap_unordered

而不是

p.imap

，则会看到：

3 (Time elapsed: 1s)5 (Time elapsed: 3s)7 (Time elapsed: 5s)

如果使用

p.map

或

p.map_async().get()

，则会看到：

3 (Time elapsed: 5s)7 (Time elapsed: 5s)5 (Time elapsed: 5s)

因此，使用

imap

/

imap_unordered

超过的主要原因

map_async

是：

1. 您的可迭代对象足够大，以至于将其转换为列表会导致您用完/使用过多的内存。
2. 您希望能够在 所有 结果完成之前开始处理结果。