python并行运算 Parallel

python并行运算 Parallel 1.先定义一个准备并行执行的方法

def test(args, tokenizer, ids):
…
return test_samples

2. 将数据分成4份，以便4个进程并行

ids = df[“id”].unique()
ids_splits = np.array_split(ids, 4)#不均等分割,分成4份

3. 使用Parallel方法并行运算

from joblib import Parallel, delayed
#参数n_jobs来设置开启进程数。
results = Parallel(n_jobs=4, backend=“multiprocessing”)(
#函数delayed是一个创建元组(function, args, kwargs)的简单技巧。
delayed(test)(args, tokenizer, idx) for idx in ids_splits
)

4 Parallel函数介绍 4.1 Parallel函数的定义方式：

class joblib.parallel(n_jobs=None, backend=None, verbose=0, timeout=None, pre_dispatch=‘2 * n_jobs’,
batch_size=‘auto’,temp_folder=None, max_nbytes=‘1M’, mmap_mode=‘r’, prefer=None, require=None)
Parallel参数众多，但常用的基本只有n_jobs和backend参数。

4.2 n_jobs: int, default: None —— 设置并行执行任务的最大数量。

当backend="multiprocessing"时指python工作进程的数量，或者backend="threading"时指线程池大小。当n_jobs=-1时，使用所有的CPU执行并行计算。当n_jobs=1时，就不会使用并行代码，即等同于顺序执行，可以在debug情况下使用。另外，当n_jobs<-1时，将会使用(n_cpus + 1 + n_jobs)个CPU，例如n_jobs=-2时，将会使用n_cpus-1个CPU核，其中n_cpus为CPU核的数量。当n_jobs=None的情况等同于n_jobs=1

4.3 backend: str, default: ‘loky’ —— 指定并行化后端的实现方法

backend=‘loky’: 在与Python进程交换输入和输出数据时，可导致一些通信和内存开销。

backend=‘multiprocessing’: 基于multiprocessing.Pool的后端，鲁棒性不如loky。

backend=‘threading’: threading是一个开销非常低的backend。但是如果被调用的函数大量依赖于Python对象，它就会受到Python全局解释器(GIL)锁的影响。当执行瓶颈是显式释放GIL的已编译扩展时，“threading”非常有用(例如，封装在“with nogil”块中的Cython循环，或者对库(如NumPy)的大量调用)。