python中的yield、yield from、async/a

2019-03-03 本文已影响16人董小贱

因为水平有限，我在看asyncio异步爬虫的时候，关于async/await的相关知识，看了挺多资料，还是不得其要领，所以用yield、yields from到async\await从头捋搞了一遍，发现里边得东西还是挺有意思，所以搞了这么一篇文章。

0.yield

yield 可以将一个函数转换成 generator(生成器)，和普通函数不同得是，生成一个 generator 看起来像函数调用，但不会执行任何函数代码，直到对其调用 next()/send()才开始执行，虽然执行流程仍按函数得流程执行，但是执行到每一个yield语句就会中断，交出执行权，并返回一个迭代值，下次执行从yield中断处可以通过send()接收一个参数并继续执行。看起来就像一个函数在正常执行得过程中被yield 中断了数次，每次中断都会交出执行权，通过 yield 返回当前的迭代值。
yield 的好处是显而易见的，把一个函数改写为一个 generator 就获得了迭代能力，这也是python中协程的基础。

0.1 next()

next()的作用是每次获取一个yield出来的值。

def generator():
    yield 1
    yield 2
    yield 3
    return 4

if __name__ == "__main__":
    gen = generator()
    print(next(gen))
    print(next(gen))
    print(next(gen))
    print(next(gen))  # 因为不是yield，这里抛出一个StopIteration的错误，但错误信息中会返回 4。 错误详情：StopIteration: 4
    gen.close()

0.2 send()

send()和next()类似，但是比next()多一个功能，可以往生成器中传入参数。

def generator2():
    num = yield 1
    print (num)
    yield 2
    yield 3
    return 4

if __name__ == "__main__":
    gen = generator2()
    print(gen.send(None))  # 如果使用send()的时候，第一个传入的值必须是None，因为当调用send()的时候，才执行到第一个yield，只能输出一个值，不能接收值。
    print(gen.send(101))
    print(gen.send(None))
    gen.close()

注：关于StopIteration：1. 在一个生成器中，如果没有return，则默认执行到函数完毕时返回StopIteration；2. 如果遇到return,如果在执行过程中 return，则直接抛出 StopIteration 终止迭代。3.在close()之后，如果再执行相关的操作，会抛出StopIteration；

0.3 throw()

throw()用来向生成器函数送入一个异常，可以结束系统定义的异常，或者自定义的异常。我的理解是相当于send()进去一个错误类型，然后抛出异常。我的理解可能不准确，仅供参考。

def generator3():
      num = yield 1
    print(num)
    try:
        yield 2
    except ValueError:
        print("捕获异常：ValueError")
    yield 3


if __name__ == "__main__":
    gen = generator3()
    print(gen.send(None))
    print(gen.send(101))
    gen.throw(ValueError)
    gen.close()

1.yield from

我们先来看个例子：

def test03(iterabld):
    yield iterabld

def test04(iterable):
    yield from iterable

if __name__ == "__main__":
    for iterabld in test03(range(5)):
        print(iterabld)

    for value in test04(range(5)):
        print (value)

返回值：
# range(0, 5)
# 0
# 1
# 2
# 3
# 4

这两个的返回值是一样的，可以看的出来，yield form 将可迭代对象中的值直接迭代出来了。下边再看一个例子：

def generator01():
    num = yield 1
    print(num)
    yield 2
    yield 3
    return 4

def test01(gen):
    ll = yield from gen()
    print(ll)


def main():
    gen = test01(generator01)
    print(gen.send(None))
    print(gen.send(101))
    print(gen.throw(ValueError))


if __name__ == "__main__":
    main()

执行下例子，可以发现，再main()中的send()和throw()都是直接作用到生成器generator01中的。这其中main()函数被称作调用方，test01()被称作委托生成器(包含yield from表达式的生成器函数)，generator01()被称作子生成器(yield from后面加的生成器函数)。
委托生成器的作用是：在调用方与子生成器之间建立一个双向通道，拿例子来讲，就是main()中的send()等直接作用到generator01到，而generator01中yield产生的值直接返回到main()中。

委托生成器中：ll = yield from gen() 为啥会赋值？这是接收的return的值。生成器没有yield，有return的时候，会抛出StopIteration异常，在抛出StopIteration的异常的时候，会将return的值赋给ll。

注：1. yield from 是在Python3.3才出现的语法。所以这个特性在Python2中是没有的。 2.yield from 后面需要加的是可迭代对象。它可以是普通的可迭代对象，也可以是迭代器、生成器。

2. async/await

async/await 是用是python3.5后出来的协程异步编程的API, 是为了区分yield，yield from生成器，而使语义更加明确。以下示例代码只是为了展示await与yield from对比，实际开发中，不要这么做！不要这么做！！！

# 示例代码一
import requests

async def request(url):
    return requests.get(url)

async def spider(url):
    return await request(url)
if __name__ == '__main__':
    sp = spider("http://www.baidu.com")
    try:
        print(sp.send(None))
    except StopIteration as e:
        print (e.value)
# 示例代码二
import requests
import types

@types.coroutine
def request(url):
    yield requests.get(url)

async def spider(url):
    return await request(url)

if __name__ == '__main__':
    sp = spider("http://www.baidu.com")
    print(sp.send(None))

# 以上代码的打印结果都是 <Response [200]>

async def语法定义协程函数，在之前这个功能是通过装饰器实现的。但是这样定义的协程函数中不能使用yield语句，只允许使用return或await语句返回数据。
await的使用场景与yield from类似，但是await接收的对象不同。yield from可以是任意的可迭代对象。而await接收的对象必须是可等待对象(awaitable object)

注：1. async/await是在python3.5版么以及之后的版本中才能使用。2. async不能和yield同时使用。3.await只能作用于可等待对象