python从yield到asyncio<第三章>
2017-09-25 本文已影响111人
lpj24
前面两章已经介绍了yield生成器协程等方面的概念, 下面使用一个模拟一个耗时的网络请求来讲解通过asyncio实现并发。
模拟耗时的请求, 我们首先想到的是多线程, 这里就不介绍原始的多线程编程了, 使用concurrent.futures(python2需要安装futures), 该模块封装了原始的多线程, 如线程池, 队列Queue等, 返回多线程的结果并提供简单的处理api等, 所以使用这个模块有利于我们使用多线程编程
1. 多线程
7.png代码说明
- 改代码的主要功能是实现把1-1000列表中每个数平方, 最后求和, square_val()模拟一个耗时请求, 休眠0.1秒
- 使用concurrent.futures多线程模块,使用默认线程数, 耗时0.9秒
2. 单线程协程异步io实现方式
8.png代码说明
1.使用装饰器@asyncio.coroutine装饰async_square_val, 将改协程函数交给asyncio处理,
- yield from asyncio.sleep(.1)这样休眠不会阻塞时间循环, 把控制权交给主循环, 继续执行事件循环中的其它任务
- 获取事件循环loop = asyncio.get_event_loop()
- tasks = [async_square_val(i) for i in test] 创建任务列表
- res, _ = loop.run_until_complete(asyncio.wait(tasks))将任务放入事件循环, 最后打印时间
关于python yield大概介绍这么多, 只是说了大概, 更加细节的知识点需要去阅读流畅的python这本书。另外, 从python3.5开始使用了async和await替换了asyncio协程装饰器和yield from, 只需要替换就好了, 这里不多介绍。
补充: 模拟非阻塞式休眠的时候我们使用asyncio.sleep(), 当正式使用比如http请求的时候我们要使用aiohttp非阻塞式的模块请求http
https://github.com/aio-libs 这里提供了一些非阻塞式的第三方模块, 如mysql, redis等等
python从yield到asyncio<第一章>
python从yield到asyncio<第二章>
再补充一个第四章
python从yield到asyncio<第四章>