使用多处理模块进行集群计算

使用多处理模块进行集群计算

如果通过集群计算来表示分布式存储系统（多个节点而不是SMP），那么Python的多重处理可能不是合适的选择。它可以产生多个进程，但它们仍将绑定在单个节点内。

您将需要一个框架来处理跨多个节点的进程，并为处理器之间的通信提供一种机制。（几乎是MPI所做的）。

有关有助于集群计算的框架列表，请参见Python
wiki
上的“并行处理”页面。

从列表中看，pp，jug，pyro和celery似乎是明智的选择，尽管由于我对它们中的任何一个都没有经验（我主要使用MPI），所以我不能亲自担保。

如果安装/使用的简便性很重要，那么我将从探索开始

jug

。它易于安装，支持常见的批处理群集系统，并且文件记录良好。