Python descriptor-描述符
最近看Flask源码时发现很多不熟悉的语法,其中一个就是描述符,在config.py中出现,描述符的用处很多,是Python中很多特性的底层机制,如properties
, methods
, static methods
, class methods
和super()
。
什么是描述符
描述符一般是一个有绑定动作的属性对象,这个属性的获取、赋值、删除操作和途径被描述符协议重写。对象属性的正常获取顺序是这样的,比如想要获取a.x
,那么首先查找a.__dict__['x']
,如果找不到则查看type(a).__dict__['x']
,如果还没有则查看父类的__dict__
。
Python中有很多协议,比如迭代对象的迭代器协议,上下文管理协议等,都是靠重写类中以__
开头和结尾的魔法方法来实现的。描述符协议也不例外,只要实现了__get__(self, instance, owner)
、__set__(self, instance, value)
、__delete__(self, instance)
中任意一个或全部的方法,这个类就变成了一个描述符。如果只定义了__get__
,则这是一个non-data descriptor
,定义了__get__
和__set__
两个方法的是data descriptor
,这里的区别,后面会提到。实现这些方法后,对属性进行操作时就不走正常途径,而是调用这几个魔法方法。需要注意的是,描述符必须是一个新式类。
为什么需要描述符
写过的Java的应该有一些印象,类里的属性一般是private
的,如果想要拿到这个属性,一般是通过一个public
的get_xxx
方法来获得属性,重新赋值时也是一个道理。但是这样虽然隐藏了属性,但是后续写代码时都得用object.get_xxx()
来获取值,而不是object.attr
,显然第二种方式更简单,更美观,所以Python这种简洁的语言就提供了这样的更简洁的实现方式---描述符协议。
还有一种情况,假设有一个Person
类,它有一个age
属性,那么在对年龄赋值时是有一些限制的,比如必须是整数,必须大于0。所以应该在赋值时进行检查,这么一看好像赋值时又需要通过方法xiaoming.age=cls.examine_age(1000)
,又不美观了,而描述符协议可以在背地里帮我们做这种检查,而我们还是可以使用xiaoming.age=1000
这个更简洁的语句。
这里有个我之前一直困惑的地方提一下,可能你们觉得不难,但是确实干扰了我很久。那就是这三个魔法方法定义在什么地方,还是回到上面那个例子,好像只有Person
是一个类,所以我之前一直觉得应该定义在Person
类中,但其实不是。魔法方法应该定义在一个Age
类中,然后age
属性是一个Age
对象实例。
class Age(object):
def __init__(self, age):
self.age = age
def __get__(self, instance, owner):
print('instance={}, owner={}'.format(instance, owner))
return self.age
def __set__(self, instance, value):
print('instance={}, value={}'.format(instance, value))
if value < 0:
raise AttributeError('age should > 0')
self.age = value
class Person(object):
age = Age(100)
xiaoming = Person()
xiaoming.age = 10
print(xiaoming)
print(xiaoming.age)
# output::::::::
# >>> instance=<__main__.Person object at 0x107a24310>, value=10
# >>> <__main__.Person object at 0x107a24310>
# >>> instance=<__main__.Person object at 0x107a24310>, owner=<class '__main__.Person'>
# >>> 10
方法中的instance
属性返回的是获取属性的那个对象,在这里就是xiaoming
,owner
是获取属性的对象的类,在这里就是Person
。
描述符的调用机制
上面提到了非描述符属性的获取途径,定义了描述符协议后,obj.b
的操作将调用b.__get__(obj)
这个方法来获取属性。描述符的调用机制根据调用对象是对象还是类有一些区别。
描述符是通过type.__getattribute__()
方法被调用,这也是为什么描述符必须是在新式类中的原因,继承自object
的类被称为新式类,否则没有这个方法,则无法调用描述符的方法。
对于对象来说,object.__getattribute__()
会将b.x
转换为 type(b).__dict__['x'].__get__(b, type(b))
。这个转换通过下面这样的一个优先链:data descriptors
大于实例变量,实例变量大于 non-data descriptors
,如果存在__getattr__()
,则__getattr__()
优先级最低。完整的C实现在PyObject_GenericGetAttr()
in Objects/object.c.
对于类来说,object.__getattribute__()
会将 B.x
转换为B.__dict__['x'].__get__(None, B)
。Python实现如下:
def __getattribute__(self, key):
"Emulate type_getattro() in Objects/typeobject.c"
v = object.__getattribute__(self, key)
if hasattr(v, '__get__'):
return v.__get__(None, self)
return v
描述符实例
上面提到了一个最简单的描述符实例,就是对属性进行取值或者赋值时进行额外的操作,同时保持代码的简洁。描述符在Python语言中本来也有很多的应用,但是能力不够,不能很好的理解其中的奥妙,就不误导大家了。主要是Property
,Function and method
和static method and class method
这几个方面,给出链接,有兴趣的可以钻研一下。