INT函数与对象剖析(中)

引言

在上一篇中可以得知int()函数走了一遍Python底层的 intobject 对象， 并且熟悉了 int(base='',x='')形式的函数声明，现在我们将继续探究int函数int_new 初始化的过程

对象的创建

• python创建对象主要有两种方法，Python C API和PyInt_Type。
• Python C API让用户从C环境与Python交互，一共有两种API，一种是AOL（Abstract Object Layer）即泛型API，另一种是COL（Concrete Object Layer）即类型API；AOL都有PyObject_*的形式，可以应用到任何Python对象上，表达式一般表示为：PyObject intObj = PyObject_new(PyObject,&PyInt_Type),而COL的API一般如下：PyObject intObj = PyInt_FromLong（1000）；我们就创建了一个1000整数对象。
• 无论采用哪种Python C API，Python都是最终直接分配内存，因为这都是Python的内建对象

int的初始化在底层有三种实现方法

1. • PyInt_FromString(string, NULL, base);
2. • PyInt_FromUnicode(PyUnicode_AS_UNICODE(x),PyUnicode_GET_SIZE(x), base);
3. • PyInt_FromLong(x);
     其中PyInt_FromString，PyInt_FromUnicode最终都是调用了PyInt_FromLong来生成整数对象。
     本章我们将一一分析源码的实现，了解INT对象的创建过程。

---

• PyInt_FromString
  顾名思义，表示从一个字符串生成一个int对象

PyObject *
PyInt_FromString(char *s, char **pend, int base)
{
    if ((base != 0 && base < 2) || base > 36) {
        PyErr_SetString(PyExc_ValueError,
                        "int() base must be >= 2 and <= 36");
        return NULL;
    }
    if (base == 0 && s[0] == '0') { 
        //【1】如果字符串int(base=''?,x='012')以0开头
        x = (long) PyOS_strtoul(s, &end, base);
        if (x < 0)
            return PyLong_FromString(s, pend, base);
    }
    else
        //【2】如果字符串不为0开头，将判断是否有'+','-'标识等
        x = PyOS_strtol(s, &end, base);
    if (end == s || !isalnum(Py_CHARMASK(end[-1])))
        goto bad;
    
  bad:
        PyErr_Format(PyExc_ValueError,"invalid literal for int() with base %d:%s",base,PyString_AS_STRING(srepr));
        return NULL;
    return PyInt_FromLong(x);

我们来看看【1】本分进入的分支 PyOs_stroul， 其实仔细想想这里肯定是判断是 0b,0o,0x 的进制数，比如x = '0x15'。这里跟进源码其实就是 switch-case 分别对base进行 进制位的判断，比如当base=8时代码如下：

    case 8:     /* skip leading 0o or 0O */
        if (*str == '0') {
            ++str;
            if (*str == 'o' || *str == 'O') {
                /* there must be at least one digit after 0o */
                if (_PyLong_DigitValue[Py_CHARMASK(str[1])] >= 8) {
                    //八进制数最大不能超过8
                    if (ptr)
                        *ptr = str;
                    return 0;
                }
                ++str;
            }
        }
        break;

最终，这里的x传入了PyInt_FromLong。

跟进最后的 PyInt_FromLong

PyObject *
PyInt_FromLong(long ival)
{
    register PyIntObject *v;
#if NSMALLNEGINTS + NSMALLPOSINTS > 0
    if (-NSMALLNEGINTS <= ival && ival < NSMALLPOSINTS) {
        //[1] 小整数池数组，在Python虚拟机初始化的时候会想JAVA中的static{ } 代码块预先定义好了小整数对象， 如果取的值在该数组中则直接返回，避免了堆的malloc以及free，这样大大提升了虚拟机的执行效率。在Python2.7.14中 ，这个List的范围为[-5:257]，也就是说，调用int(x),-5<x<257将不会产生 malloc操作。否则进入【2】
        v = small_ints[ival + NSMALLNEGINTS];
        Py_INCREF(v);
        return (PyObject *) v;
    }
#endif
    if (free_list == NULL) {
        //[2] 非小整数对象池内存的申请
        if ((free_list = fill_free_list()) == NULL)
            return NULL;
    }
    //[3] Undefined 在章节(下)中说明解释
    v = free_list;
    free_list = (PyIntObject *)Py_TYPE(v);
    (void)PyObject_INIT(v, &PyInt_Type);
    v->ob_ival = ival;
    return (PyObject *) v;
}

通用整数对象池的分配

static PyIntObject *
fill_free_list(void)
{
    PyIntObject *p, *q;
    /* Python's object allocator isn't appropriate for large blocks. */
    p = (PyIntObject *) PyMem_MALLOC(sizeof(PyIntBlock));
    if (p == NULL)
        //如果不能申请成功，代表内存不足，抛出内存异常
        return (PyIntObject *) PyErr_NoMemory();
    ((PyIntBlock *)p)->next = block_list;
    block_list = (PyIntBlock *)p;
    //将所有的int内存块首尾链接在一起，并返回最后一个内存块的地址
    p = &((PyIntBlock *)p)->objects[0];
    q = p + 124;
    while (--q > p)
        Py_TYPE(q) = (struct _typeobject *)(q-1);
    Py_TYPE(q) = NULL;
    return p + 124 - 1;
}

------------
------------
static PyIntBlock *block_list = NULL;
static PyIntObject *free_list = NULL;

------------

struct PyIntBlock {
    struct PyIntBlock *next;
    PyIntObject objects[124];//一个内存快存124个整数值
};

至此，我们可以清晰的看到整数对象在内存中（这里可以称为Python虚拟机所维护的内存）的分布，创建，使用的状态了。

总结

本篇可以学习到:

• Python小整数对象池机制。
• 通用小整数对象在内存空间的维护。
• python int 对象是由PyInt_FromLong直接生成的。

• 如下图所示的一些测试

  
  image

鸣谢作者，感谢阅读

©敬贤。

热爱知识，分享知识
2018-06-14 23:29:36 星期四