Effective Python(9): 用生成器表达式来改写数

一、生成器表达式产生背景

列表推导Effective Python(7): 用列表推导来取代map和filter 的 缺点 ：

在推导过程中，对于输入序列中的每个值来说，可能都要创建仅含一项元素的全新列表；

• 当输入数据比较少时，不会出问题，
• 如果输入的数据非常多，那么可能会消耗大量内存，并导致程序崩溃。

为了解决这个问题，Python提供了生成器表达式(generator expression)，它是对列表推导和生成器的一种泛化。

生成器表达式在运行的时候，并不会把整个序列都呈现出来，而是会估值为迭代器( iterator)，这个迭代器每次可以根据生成器表达式产生一项数据。

二、生成器表达式

1. 实现

把实现列表推导所用的写法放在一对圆括号中，就构成了生成器表达式。
(func(i) for i in sth)

2. 生成器 vs 列表推导

对生成器表达式求值的时候，会立刻返回一个迭代器，而不是把所有数据保存在内存中。

>>> s = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
>>> it = (i for i in s)
>>> it
<generator object <genexpr> at 0x1035672b0>

逐次调用内置next函数，即可使其按照生成器表达式来输出下一个值。

>>> next(it)
1
>>> next(it)
2

3. 生成器的额外好处

生成器可以互相结合，下面这行代码会把刚才那个生成器表达式所返回的迭代器用作另外一个生成器表达式的输入值。

roots = ((x, x**0.5) for x in it)

外围的迭代器每次前进，都会推动内部那个迭代器，这就产生了连锁效应
使得执行循环、评估条件表达式、对接输入和输出等逻辑都组合在了一起

4. 注意

使用生成器表达式所返回的那个迭代器是有状态的，用过一轮之后，就不要反复使用了。

三、要点

• 当输入的数据量较大时，列表推导可能会因为占用太多内存而出问题。
• 由生成器表达式所返回的迭代器，可以逐次产生输出值，从而避免了内存用量问题
• 把某个生成器表达式所返回的迭代器，放在另一个生成器表达式的for子表达式中，即可将二者组合起来
• 串在一起的生成器表达式执行速度很快