python协程（4）：asyncio

asyncio是官方提供的协程的类库，从python3.4开始支持该模块

async &awiat是python3.5中引入的关键字，使用async关键字可以将一个函数定义为协程函数，使用awiat关键字可以在遇到IO的时候挂起当前协程（也就是任务），去执行其他协程。

await + 可等待的对象（协程对象、Future对象、Task对象 ->IO等待）

注意：在python3.4中是通过asyncio装饰器定义协程，在python3.8中已经移除了asyncio装饰器。

事件循环，可以把他当做是一个while循环，这个while循环在周期性的运行并执行一些协程（任务），在特定条件下终止循环。

loop = asyncio.get_event_loop()：生成一个事件循环

loop.run_until_complete(任务)：将任务放到事件循环

Tasks用于并发调度协程，通过asyncio.create_task(协程对象)的方式创建Task对象，这样可以让协程加入事件循环中等待被调度执行。除了使用 asyncio.create_task() 函数以外，还可以用低层级的 loop.create_task() 或 ensure_future() 函数。不建议手动实例化 Task 对象。

本质上是将协程对象封装成task对象，并将协程立即加入事件循环，同时追踪协程的状态。

注意：asyncio.create_task() 函数在 Python 3.7 中被加入。在 Python 3.7 之前，可以改用 asyncio.ensure_future() 函数。

下面结合async &awiat、事件循环和Task看一个示例

示例一：

*注意：python 3.7以后增加了asyncio.run（协程对象），效果等同于loop = asyncio.get_event_loop()，loop.run_until_complete(协程对象) *

示例二：

注意：asyncio.wait 源码内部会对列表中的每个协程执行ensure_future从而封装为Task对象，所以在和wait配合使用时task_list的值为[func(),func()] 也是可以的。

示例三：

asyncio 是 Python 中的异步IO库，用来编写并发协程，适用于IO阻塞且需要大量并发的场景，例如爬虫、文件读写。

asyncio 在 Python3.4 被引入，经过几个版本的迭代，特性、语法糖均有了不同程度的改进，这也使得不同版本的 Python 在 asyncio 的用法上各不相同，显得有些杂乱，以前使用的时候也是本着能用就行的原则，在写法上走了一些弯路，现在对 Python3.7+ 和 Python3.6 中 asyncio 的用法做一个梳理，以便以后能更好的使用。

协程，又称微线程，它不被 *** 作系统内核所管理，而完全是由程序控制，协程切换花销小，因而有更高的性能。

协程可以比作子程序，不同的是，执行过程中协程可以挂起当前状态，转而执行其他协程，在适当的时候返回来接着执行，协程间的切换不需要涉及任何系统调用或任何阻塞调用，完全由协程调度器进行调度。

Python 中以 asyncio 为依赖，使用 async/await 语法进行协程的创建和使用，如下 async 语法创建一个协程函数：

在协程中除了普通函数的功能外最主要的作用就是：使用 await 语法等待另一个协程结束，这将挂起当前协程，直到另一个协程产生结果再继续执行：

asyncio.sleep() 是 asyncio 包内置的协程函数，这里模拟耗时的IO *** 作，上面这个协程执行到这一句会挂起当前协程而去执行其他协程，直到sleep结束，当有多个协程任务时，这种切换会让它们的IO *** 作并行处理。

注意，执行一个协程函数并不会真正的运行它，而是会返回一个协程对象，要使协程真正的运行，需要将它们加入到事件循环中运行，官方建议 asyncio 程序应当有一个主入口协程，用来管理所有其他的协程任务：

在 Python3.7+ 中，运行这个 asyncio 程序只需要一句： asyncio.run(main()) ，而在 Python3.6 中，需要手动获取事件循环并加入协程任务：

事件循环就是一个循环队列，对其中的协程进行调度执行，当把一个协程加入循环，这个协程创建的其他协程都会自动加入到当前事件循环中。

其实协程对象也不是直接运行，而是被封装成一个个待执行的 Task ，大多数情况下 asyncio 会帮我们进行封装，我们也可以提前自行封装 Task 来获得对协程更多的控制权，注意，封装 Task 需要 当前线程有正在运行的事件循环 ，否则将引 RuntimeError，这也就是官方建议使用主入口协程的原因，如果在主入口协程之外创建任务就需要先手动获取事件循环然后使用底层方法 loop.create_task() ，而在主入口协程之内是一定有正在运行的循环的。任务创建后便有了状态，可以查看运行情况，查看结果，取消任务等：

asyncio.create_task() 是 Python3.7 加入的高层级API，在 Python3.6，需要使用低层级API asyncio.ensure_future() 来创建 Future，Future 也是一个管理协程运行状态的对象，与 Task 没有本质上的区别。

通常，一个含有一系列并发协程的程序写法如下（Python3.7+）：

并发运行多个协程任务的关键就是 asyncio.gather(*tasks) ，它接受多个协程任务并将它们加入到事件循环，所有任务都运行完成后会返回结果列表，这里我们也没有手动封装 Task，因为 gather 函数会自动封装。

并发运行还有另一个方法 asyncio.wait(tasks) ，它们的区别是：

期物（Future）是concurrent.futures模块和asyncio包的重要组件。

python3.4之后标准库中有两个名为Future的类：concurrent.futures.Future和asyncio.Future.

这两个类的作用相同：类的实例都表示可能已经完成活着尚未完成的延迟计算。与JS库中的Promise对象，Tornado框架中的Future类类似。

通常我们自己不应该创建期物，而只能由并发框架实例化。

这个例子中的future.result方法不会阻塞，因为future对象是有as_completed方法产生的。

在asyncio包中，BaseEventLoop.create_task(...)方法接收一个协程，排定他的运行时间，然后返回一个asyncio.Task实例（也是asyncio.Future类的实例），因为Task是Future的子类，用于包装协程。这与Executor.submit(...)方法创建concurrent.futures.Future实例是一个道理。

因为asyncio.Future类的目的是与yield from一起使用，所以通常不需用使用以下方法：

asyncio.async(coro_or_future, *, loop=None)

这个函数统一了协程和期物：第一个参数可以是二者中的任何一个。如果是 Future或 Task 对象，那就原封不动地返回。如果是协程，那么 async 函数会调用loop.create_task(...) 方法创建 Task 对象。loop= 关键字参数是可选的，用于传入事件循环；如果没有传入，那么 async 函数会通过调用 asyncio.get_event_loop() 函数获取循环对象.

不过，在asyncio 中，基本的流程是一样的：在一个单线程程序中使用主循环依次激活队列里的协程。各个协程向前执行几步，然后把控制权让给主循环，主循环再激活队列里的下一个协程。

asyncio.wait(...) 协程的参数是一个由期物或者协程构成的可迭代对象。wait会分别把各个协程包装进入一个Task对象。最后的结果是，wait处理的所有对象都通过某种方法变成Future实例。wait是协程函数，因此返回的是一个协程或者生成器对象。为了驱动协程，我们把协程传给loop.run_until_complete(...)方法。

---