【Python进阶】上下文管理器和with语句

2020-04-08 本文已影响0人 Liburro

本文环境

win7_64 + Python 2.7.10

文件操作

一般文件操作可以通过open的方式获取一个文件对象fp，比如:

fp = open('test.txt', 'r')

然后我们可以通过fp对文件进行读操作，操作完成后，我们需要通过调用fp对象的close方法显示的关闭资源，以便让python可以正确的释放相关系统资源

fp.close()

如果在close之前出现了异常，导致代码不能正常走到close，就会出现资源不能正常释放的情况

fp = open('test.txt', 'r')
a = 1 / 0 # 这里引发了异常，下面的代码无法执行
fp.close()

一般可以通过try...except...finally来捕获异常，因为finally里面的代码是一定会走到，故可以把资源释放的动作放到这里

fp = open('test.txt', 'r')
try:
    do_something()
    a = 1/ 0
except:
    do_exc()
finally:
    fp.close() # 能正确释放

上下文管理器

上面的代码虽然可以满足我们的要求，但是比较冗长，而且也不符合python提倡的代码简洁性，所以有一个概念就是上下文管理器，类比到代码就是with语句

with open('test.txt', 'r') as fp:
    do_something()

上面的代码，就可以自动的在执行完do_something()这段逻辑后正确的进行释放，会自动的调用close

实现自己的上下文管理器

可以通过定义一个类，满足上下文管理器协议的要求定义，就可以用with语句来调用，类里面需要定义__enter__和__exit__两个方法即可

class MyContext:
    def __init__(self):
        print('__init__')
        
    def func(self):
        print('func')
        
    def __enter__(self):
        print('__enter__')
        
    def __exit__(self, exc_type, exc_value, traceback):
        print('__exit__')
        
def test():
    print('test')
        
with MyContext():
    test()

执行后结果:

__init__
__enter__
test
__exit__

执行顺序很明显
假如我们在test里面出现了异常，在看看会执行哪些方法

class MyContext:
    def __init__(self):
        print('__init__')
        
    def func(self):
        print('func')
        
    def __enter__(self):
        print('__enter__')
        
    def __exit__(self, exc_type, exc_value, traceback):
        print('__exit__')
        
def test():
    print('test')
    return 1 / 0 #这里引发异常
        
with MyContext():
    test()

结果

__init__
__enter__
test
__exit__
Traceback (most recent call last):
  File "test.py", line 19, in <module>
    test()
  File "test.py", line 16, in test
    return 1 / 0
ZeroDivisionError: integer division or modulo by zero

同样，所有的都执行了，就算test引发了异常，但是__exit__仍然会执行
上面都是用的with语句，现在来看看with...as

class MyContext:
    def __init__(self):
        print('__init__')
        
    def func(self):
        print('func')
        
    def __enter__(self):
        print('__enter__')
        
    def __exit__(self, exc_type, exc_value, traceback):
        print('__exit__')
        
# 这个with语句不等同于 my = MyContext()，而是等同于my = MyContext().__enter__()，由于__enter__并
# 没有返回任何值，默认就是None，故在调用my.fun()会抛出异常
with MyContext() as my:
    my.func()

结果

__init__
__enter__
__exit__
Traceback (most recent call last):
  File "test.py", line 15, in <module>
    my.func()
AttributeError: 'NoneType' object has no attribute 'func'

我们把__enter__返回self自己

class MyContext:
    def __init__(self):
        print('__init__')
        
    def func(self):
        print('func')
        
    def __enter__(self):
        print('__enter__')
        return self
        
    def __exit__(self, exc_type, exc_value, traceback):
        print('__exit__')
        
with MyContext() as my:
    my.func()

结果就可以正常执行

__init__
__enter__
func
__exit__

执行顺序和异常抛出问题

在__enter__返回之前出现异常，那么上下文管理器是没有形成的，此时__exit__是不能被执行的，除非显示调用
首先看__init__里面引发异常

class MyContext:
    def __init__(self):
        print('__init__')
        1 / 0
        
    def func(self):
        print('func')
        
    def __enter__(self):
        print('__enter__')
        return self
        
    def __exit__(self, exc_type, exc_value, traceback):
        print('__exit__')
        
with MyContext() as my:
    my.func()

结果只执行到了__init__，引发异常后，代码终止，连__enter__都无法执行

__init__
Traceback (most recent call last):
  File "test.py", line 16, in <module>
    with MyContext() as my:
  File "test.py", line 4, in __init__
    1 / 0
ZeroDivisionError: integer division or modulo by zero

在来看看__enter__自己出现异常

class MyContext:
    def __init__(self):
        print('__init__')
        
    def func(self):
        print('func')
        
    def __enter__(self):
        print('__enter__')
        1 / 0
        return self
        
    def __exit__(self, exc_type, exc_value, traceback):
        print('__exit__')
        
with MyContext() as my:
    my.func()

结果是

__init__
__enter__
Traceback (most recent call last):
  File "test.py", line 16, in <module>
    with MyContext() as my:
  File "test.py", line 10, in __enter__
    1 / 0
ZeroDivisionError: integer division or modulo by zero

虽然执行到了__enter__，但是仍然没有执行__exit__，代码就终止了

__exit__的三个参数对应了引发异常后的三个参数，对应的就是sys.exc_info()返回的对象，如果没有引发异常，它们的值都是None
首先看下出现异常它们的值

class MyContext:
    def __init__(self):
        print('__init__')
        
    def func(self):
        1 / 0
        print('func')
        
    def __enter__(self):
        print('__enter__')
        return self
        
    def __exit__(self, exc_type, exc_value, traceback):
        print('__exit__')
        print(exc_type, exc_value, traceback)
        
with MyContext() as my:
    my.func()

结果是

__init__
__enter__
__exit__
# 分别是异常类型，异常值和异常跟踪对象
(<type 'exceptions.ZeroDivisionError'>, ZeroDivisionError('integer division or modulo by zero',), <traceback object at 0x000000000269EC08>)
Traceback (most recent call last):
  File "test.py", line 18, in <module>
    my.func()
  File "test.py", line 6, in func
    1 / 0
ZeroDivisionError: integer division or modulo by zero

再来看看未出现异常的时候

class MyContext:
    def __init__(self):
        print('__init__')
        
    def func(self):
        print('func')
        
    def __enter__(self):
        print('__enter__')
        return self
        
    def __exit__(self, exc_type, exc_value, traceback):
        print('__exit__')
        print(exc_type, exc_value, traceback)
        
with MyContext() as my:
    my.func()

结果是

__init__
__enter__
func
__exit__
# 三个值都是None
(None, None, None)

__exit__默认是返回的None，上面的例子可以看出，异常虽然出现了，但是仍然会继续抛出，我们可以通过让__exit__返回True来屏蔽异常

class MyContext:
    def __init__(self):
        print('__init__')
        
    def func(self):
        1 / 0
        print('func')
        
    def __enter__(self):
        print('__enter__')
        return self
        
    def __exit__(self, exc_type, exc_value, traceback):
        print('__exit__')
        print(exc_type, exc_value, traceback)
        return True
        
with MyContext() as my:
    my.func()

结果是

__init__
__enter__
__exit__
(<type 'exceptions.ZeroDivisionError'>, ZeroDivisionError('integer division or modulo by zero',), <traceback object at 0x000000000267EC08>)

由于__exit__返回了True，异常被屏蔽，代码不会终止，会继续往下执行，但是注意，屏蔽异常，一定要自己在__exit__里面处理异常，或者你根本不care这个异常

总结

__enter__需要返回一个对象，才能通过with...as把一个变量引用到这个对象上
__exit__有4个参数，后面三个分别是exc_type, exc_value和traceback
__enter__必须正确返回后(就算是返回默认的None)，上下文管理器协议才生效
__exit__默认返回None，出现异常仍然会继续抛出，返回True则会屏蔽异常

参考

https://docs.python.org/2/reference/datamodel.html#with-statement-context-managers
https://docs.python.org/2/reference/compound_stmts.html#the-with-statement