python并发编程-进程池

在利用Python进行系统管理的时候，特别是同时 *** 作多个文件目录，或者远程控制多台主机，并行 *** 作可以节约大量的时间。多进程是实现并发的手段之一，需要注意的问题是：

例如当被 *** 作对象数目不大时，可以直接利用multiprocessing中的Process动态成生多个进程，十几个还好，但如果是上百个，上千个。。。手动的去限制进程数量却又太过繁琐，此时可以发挥进程池的功效。

我们就可以通过维护一个进程池来控制进程数目，比如httpd的进程模式，规定最小进程数和最大进程数..

ps： 对于远程过程调用的高级应用程序而言，应该使用进程池，Pool可以提供指定数量的进程，供用户调用，当有新的请求提交到pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程结束，就重用进程池中的进程。

创建进程池的类：如果指定numprocess为3，则进程池会从无到有创建三个进程，然后自始至终使用这三个进程去执行所有任务，不会开启其他进程

参数介绍：

方法介绍：

主要方法：

其他方法（了解部分）

应用：

发现：并发开启多个客户端，服务端同一时间只有3个不同的pid，干掉一个客户端，另外一个客户端才会进来，被3个进程之一处理

回调函数：

需要回调函数的场景：进程池中任何一个任务一旦处理完了，就立即告知主进程：我好了额，你可以处理我的结果了。主进程则调用一个函数去处理该结果，该函数即回调函数

我们可以把耗时间（阻塞）的任务放到进程池中，然后指定回调函数（主进程负责执行），这样主进程在执行回调函数时就省去了I/O的过程，直接拿到的是任务的结果。

如果在主进程中等待进程池中所有任务都执行完毕后，再统一处理结果，则无需回调函数

python多线程延迟并发的解决方法如下：

1.python之中多线程的特点，实际上是将执行耗时长的任务放在前台，耗时短的任务放在后台，当处理器有空闲时或者是后台任务主动调用时就会将其拿到前台来执行，而在这个过程之中实际上每次还是执行的一个线程。

2.python多线程延迟并发指的则是当前python程序内有多个程序，也就是任务同时处于已启动运行到运行完毕之间，且这几个程序都是在同一个处理机上运行，但任一个时刻点上只有一个程序在处理机上运行。

3.python多线程延迟并发的好处就在于可以更加合理的去调配资源，因为多线程是使用CPU的多核处理器去完成任务的。而并发则是在同一处理器上完成任务，多线程实现并发的话就可以提高运行速度并且减少内存占用。

---