如何将python asyncio与线程结合在一起?

如何将python asyncio与线程结合在一起?,第1张

如何将python asyncio与线程结合在一起?

使用以下方法将方法委派给线程或子流程非常简单

baseEventLoop.run_in_executor

import asyncioimport timefrom concurrent.futures import ProcessPoolExecutordef cpu_bound_operation(x):    time.sleep(x) # This is some operation that is CPU-bound@asyncio.coroutinedef main():    # Run cpu_bound_operation in the ProcessPoolExecutor    # This will make your coroutine block, but won't block    # the event loop; other coroutines can run in meantime.    yield from loop.run_in_executor(p, cpu_bound_operation, 5)loop = asyncio.get_event_loop()p = ProcessPoolExecutor(2) # Create a ProcessPool with 2 processesloop.run_until_complete(main())

至于使用a

ProcessPoolExecutor
还是
ThreadPoolExecutor
,这很难说。腌制一个大物体肯定会消耗一些CPU周期,最初您会认为这
ProcessPoolExecutor
是可行的方法。但是,将100MB对象传递到
Process
池中的a将需要在主进程中腌制该实例,通过IPC将字节发送到子进程,在子进程中将其取消腌制,然后
再次
进行腌制,以便可以将其写入磁盘。鉴于此,我的猜测是,酸洗/去酸洗的开销将足够大
ThreadPoolExecutor
,即使使用GIL会对性能造成负面影响,您也最好使用。

也就是说,两种方法的测试都非常简单,并且可以确定找出来,所以您也可以这样做。



欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5643634.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-16
下一篇 2022-12-16

发表评论

登录后才能评论

评论列表(0条)

保存