python能够应用并行计算的模块有多个multiprocessing、pathos等。其中multiprocessing模块应用的较多,但对于数据挖掘场景来说,pathos模块更实用,尤其厅洞允许输入多个可变参扮粗枯数非常简单实用。
本文总结整理了常见的并行计算场景,编写parallel.py模块,主要利用pathos模块实现,可以实现单变量并行、多变量并行、并行嵌套等功能。通过tdqm模块增加了进度条,可以显示计算进度等信息,通过functools模块中的partial函数将静态参数冻结,以适应并行框架。
parallel.py
函数parallel的参数凳答定义顺序需要注意: 必选参数--任意位置参数--默认参数--任意关键字参数 。
定义另一个parallel_main.py模块,用来展示各个场景下并行计算结果。
parallel_main.py
parallel函数使用注意点:
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)