Python中的yield生成器
Python中的yield用法示例,代码示例在Python3下运行。
进入yield之前,先了解为什么要使用yield的背景,以生成斐波那契数列为例:
版本1:
def fab(max):
n, a, b = 0, 0, 1
while n < max:
print(b)
a, b = b, a + b
n = n + 1
直接在fab函数中用print打印数字会导致该函数可复用性较差,因为fab函数返回None,其他函数无法获得该函数生成的数列。
版本2:
def fab(max):
n, a, b = 0, 0, 1
L = []
while n < max:
# print(b)
L.append(b)
a, b = b, a + b
n = n + 1
return L
改写后的fab函数通过返回List能满足复用性的要求,但该函数在运行中占用的内存会随着参数max的增大而增大,如果要控制内存占用,最好不要用List来保存中间结果,而是通过 iterable对象来迭代。
Python2.x中的xrange(1000)和Python3.x中的range(1000)的遍历不会生成列表,而是在每次迭代中返回下一个数值,内存空间占用很小。因为返回的一个iterable对象。
利用iterable可以把fab函数改写为一个支持iterable的类。
版本3:
class Fab(object):
def __init__(self, max):
self.max = max
self.n, self.a, self.b = 0, 0, 1
def __iter__(self):
return self
def __next__(self):
if self.n < self.max:
r = self.b
self.a, self.b = self.b, self.a + self.b
self.n = self.n + 1
return r
raise StopIteration()
Fab类通过next不断返回数列中的下一个数,内存占用始终为常数。
可以看到,使用类实现远没有版本1、2来得简洁。既要简洁又要获得iterable的效果,yield就派上用场了。
版本4:
def fab(max):
n, a, b = 0, 0, 1
while n < max:
yield b
a, b = b, a + b
n = n + 1
版本4跟版本1的区别,仅仅把print(b)改为了yield b,就在保持简洁性的同时获得了iterable的效果。
版本4的调用跟版本2一样,如:
for n in fab(5):
print(n)
yield的用法解释:
yield的作用就是把一个函数变成一个generator,带有yield的函数不再是一个普通函数,Python解释器会将其视为一个generator,调用fab(5)不会执行fab函数返回一个iterable对象!在for循环执行时,每次循环都会执行fab函数内部的代码,执行到yield b时,fab函数就返回一个迭代值,下次迭代时,代码从yield b的下一条语句继续执行,而函数的本地变量看起来和上次中断执行前是完全一样的,于是函数继续执行,直到再次遇到 yield。
执行流程:
当函数执行结束时,generator自动抛出StopIteration异常,表示迭代完成。在for循环里,无需处理StopIteration异常,循环会正常结束。
一个带有yield的函数就是一个generator,它和普通函数不同,生成一个generator看起来像函数调用,但不会执行任何函数代码,直到对其调用next()(在for循环中会自动调用next())才开始执行。虽然执行流程仍按函数的流程执行,但每执行到一个yield语句就会中断,并返回一个迭代值,下次执行时从yield的下一个语句继续执行。看起来就好像一个函数在正常执行的过程中被yield中断了数次,每次中断都会通过yield返回当前的迭代值。
yield的好处是显而易见的,把一个函数改写为一个generator就获得了迭代能力,比起用类的实例保存状态来计算下一个next() 的值,不仅代码简洁,而且执行流程异常清晰。
利用isgeneratorfunction判断判断一个函数是不是生成器函数:
>>> from inspect import isgeneratorfunction
>>> isgeneratorfunction(fab)
要注意区分fab和fab(5),fab是一个生成器函数,而fab(5)是调用fab返回的一个生成器:
>>> import types
>>> isinstance(fab, types.GeneratorType)
False
>>> isinstance(fab(5), types.GeneratorType)
True
fab是无法迭代的,而fab(5)是可迭代的:
>>> from collections import Iterable
>>> isinstance(fab, Iterable)
False
>>> isinstance(fab(5), Iterable)
True
每次调用fab函数都会生成一个新的generator实例,各实例互不影响。
在一个生成器函数中,如果没有return,则默认执行至函数完毕,如果在执行过程中return,则直接抛出StopIteration终止迭代。
利用yield来读取文件,降低内存使用的例子:
def read_file(fpath):
BLOCK_SIZE = 1024
with open(fpath, 'rb') as f:
while True:
block = f.read(BLOCK_SIZE)
if block:
yield block
else:
return
如果直接对文件对象调用read()方法,会导致不可预测的内存占用。好的方法是利用固定长度的缓冲区来不断读取文件内容。通过 yield,我们不再需要编写读文件的迭代类,就可以轻松实现文件读取。
以上仅仅简单介绍了yield的基本概念和用法,yield在 Python3中还有更强大的用法。
参考: 文章内容基本是来自这里,做了少许修改。