PYTHON 并发编程

PYTHON 并发编程

目的： 引入并发，就是为了提升程序的运行速度。

一、有哪些程序提速的方法

正常情况下，我们写出的程序都是单线程运行的。

1.单线程串行

单线程串行是我们平常程序运行时的状态，符合我们做事的认知习惯，即完成事情时，先做完一件事再做另一件事，如果某一件事停止运行，则后面的事情停止运行，如图中所示，当cpu运行至需要IO运行时，则cpu停止运行，等待IO运行，IO运行完成后，则cpu再次运行，以此往复，串行下去。

但实际上，当IO运行时,CPU显然是停止运行的状态，或者可以称之为等待，那么自然而然的就会想到，可以让cpu在等待的时候处理别的事物。

2.多线程并发

在这里的说法有两种。

第一种，IO的使用会涉及到cpu，由于现在的cpu大多为多核处理器，因此当IO涉及到的cpu某核(专门用于IO)运行，此时有一个用于核心线程的CPU在等待。

第二种，IO的使用不会涉及到CPU，此时同样有一个用于核心线程的CPU在等待。

因此，当这个CPU用于核心线程在等待的时候，我们完全可以开启一个新的线程，让CPU在等待（空闲）的时候，执行另一个线程，从而提高cpu的使用率，实现多线程并发，即同时执行多个线程。示意图如下图所示

3.多cpu运行

在这里的说法有两种（copy from 2）。

第一种，IO的使用会涉及到cpu，由于现在的cpu大多为多核处理器，因此当IO涉及到的cpu某核(专门用于IO)运行，此时有一个用于核心线程的CPU在等待。

第二种，IO的使用不会涉及到CPU，此时同样有一个用于核心线程的CPU在等待。

由于现在的电脑大都为多核CPU，所以在核心线程占用了其中cpu的某核时，其余的进程可以通过cpu的其他核进行计算，从而使得多cpu并行，实现真正的多cpu并行编程。示意图如下图所示。

4.多机器并行(个人认为可以理解成分布式)

利用多个机器，多个cpu，实现多机器的多cpu的甚至多线程的并行编程，也是当今时代大数据时代最常见的并行方式。

二、实际应用举例

多线程并发：在python中 使用threading 模块来实现多线程的开发

多cpu并行：在python中使用multiprocessing 这个模块  来实现多核多cpu的并行执行

多机器并行： 使用hadoop hive spark 等多个机器甚至集群的并行执行  （大数据技术）

后续文章主要涉及 多线程并发和多cpu并行 两个方面，不涉及大数据技术

以下是学习过程中以后会遇到的点。

文末附一个视频链接，

【2021最新版】Python 并发编程实战，用多线程、多进程、多协程加速程序运行_哔哩哔哩_bilibili