使用python多处理功能与函数共享信号量

概述我想通过将信号量传递给函数来同步对 python multiprocessing.Pool中多个worker的共享资源的访问.这是一些伪代码. def do_work(payload, semaphore): with semaphore: access_the_shared_resource(payload) 函数do_work在库中定义,这样我就无法在本地范围内定义函数 我想通过将信号量传递给函数来同步对 python multiprocessing.Pool中多个worker的共享资源的访问.这是一些伪代码.

def do_work(payload,semaphore):    with semaphore:        access_the_shared_resource(payload)

函数do_work在库中定义,这样我就无法在本地范围内定义函数可以继承的信号量.我也不能使用functools.partial传递信号量,因为多处理试图腌制不允许的信号量.似乎有用的是使用multiprocessing.Manager来创建信号量的代理：

manager = multiprocessing.Manager()semaphore = manager.Semaphore()with multiprocessing.Pool() as pool:    results = pool.map(functools.partial(do_work,semaphore=semaphore),payloads)

这是最好的方法还是我错过了明显的解决方案？

解决方法 您唯一的另一个选择是使用初始化程序和initargs在池创建时将常规多处理.Semaphore传递给每个工作进程,并将其用作全局变量：

semaphore = Nonedef do_work(payload):    with semaphore:        return payloaddef init(sem):    global semaphore    semaphore = semif __name__ == "__main__":    sem = multiprocessing.Semaphore()    with multiprocessing.Pool(initializer=init,initargs=(sem,)) as p:        results = p.map(do_work,payloads)

您在父项中定义的全局信号量变量将设置为每个子进程中的multiprocessing.Semaphore().

使用manager.Semaphore()很好,虽然它确实需要产生额外的Python进程.

总结

以上是内存溢出为你收集整理的使用python多处理功能与函数共享信号量全部内容，希望文章能够帮你解决使用python多处理功能与函数共享信号量所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。