IT狗工作室python自学

第2篇:Cython编译细节详解

2020-04-12  本文已影响0人  铁甲万能狗

我们本篇通过创建质数列表的算法并编译它来加深读者对Cython编译原理的理解,但在你阅读此文之前,希望你的C/C++的基本功要扎实。

Cython源文件

Cython源文件名包含模块名称,后跟.pyx扩展名,例如,名为primer的模块将具有一个名为primer.pyx的源文件。

与Python不同,Cython代码必须编译。这分为两个阶段:

编写完.pyx文件后,有几种方法可以将其转换为扩展模块。
以下小节描述了构建扩展模块的几种方法,以及如何将指令传递给Cython编译器。

1. 从命令行编译

cython编译工具存在两个命令行工具cython和cythonize,我们下面会这个示例代码和例子

#cython:language_level=3
cdef list sieveOfEratosthenes( long n):
    cdef list pr = [True for i in range(n + 1)]
    cdef long p = 2
    while (p * p <= n):
        if (pr[p] == True):
            
            for i in range(p * p, n + 1, p):
                pr[i] = False
        p += 1
    # end-while
    
    cdef list res = list()
    for p in range(2, n):
        if pr[p]:
            res.append(p)
    # end-if
    # end-for
    return res
# end-def

cython解析器选项

我们使用以下指令将primer.pyx的源代码转换为C代码,如下图所示

cython primer.pyx -o ./src/primer.c -3

这将产生一个名为primer.c的文件,然后需要使用平台上适合生成扩展模块的任何选项,使用C编译器对其进行编译。 对于这些选项,请查看官方的Python文档。


较简单的命令行工具cython仅调用源代码转换器。

在手动编译的情况下,如何编译.c文件取决于操作系统和编译器。 用于编写扩展模块的Python文档应包含有关系统的一些详细信息。 例如,在Linux系统上,它可能类似于:

gcc -shared -pthread -fPIC -fwrapv -O2 -Wall -fno-strict-aliasing \
      -I/usr/include/python3.6 -o ./primer.so  ./primer.c

另一种可能更好的方法是使用Cython提供的setuptools扩展。 这种方法的好处是它将为平台提供特定的编译选项,就像简化的自动工具一样。

使用cythonize命令进行编译

cythonize -a -i primer.pyx

这将创建一个primer.c文件(或在C ++模式下为primer.cpp),对其进行编译,

编译后,会将primer.cpython-36m-x86_64-linux-gnu(对于Windows可能为primer.cpython-36m-win64.pyd)文件写入目标目录,并且可以将您的模块primer.cpython-36m-x86_64-linux-gnu与其他任何Python模块一样导入。

注意:如果您不依赖cythonize或setuptools,您将不会自动受益于CPython为消除歧义而生成的特定于平台的文件扩展名

我们使用cythonize编译时,指定了-a命令行选项,因此编译完成后会生成一个编译后的html格式的分析报告,该文件中黄色的区域表示cython编译器已经命中该行并将该行对应的cython源代码转换为对应的C/C++代码,


本例中primer.pyx由于变量和函数都使用cdef关键字显式指定了数据类型,因此几乎全覆盖地转换成C代码。该分析报告中的带有“+”号的行,我们展开会发现对应该行被Cython关键字cdef修饰的语句会被Cython编译器转换为对应的C/C++代码,如下图,通常只要在编译过程中没有出错,不需要理会生成的C代码。


使用setup.py编译

Cython提供的setuptools扩展允许您将.pyx文件直接传递到setup.py文件中的Extension构造函数。如果您要将单个Cython文件转换为已编译的扩展文件,这里文件名primer.pyx进行说明,则关联的setup.py将为:


如果您的构建以setup.py方式直接依赖于Cython,那么您编译的扩展需要打算分享到pip库可能还想告知pip,你扩展库的和其他扩展的依赖关系,请执行PEP 518 https://www.python.org/dev/peps/pep-0518,Cython是setup.py执行所必需,创建一个pyproject.toml文件,其中至少包含:
[build-system]
requires = ["setuptools", "wheel", "Cython"]

备注:要更全面地了解setup.py,请参阅官方的setuptools文档。 要编译扩展名以在当前目录中使用,请使用:

python setup.py build_ext --inplace

以pyximport编译

这个这个笔者验证过,Jupyter交互环境下这个工具就是个坑货,并不是网上宣传那样:动态检查Cython源程序变更并自动编译,并不建议在Jupyter-Notebook环境下使用

小结

目前Cython的编译细节介绍到这里,对于日常简单的Python性能优化足以应付,因此本文不再往深入介绍,涉及到大规模部署Cython程序,需要用到复杂配置,我会在日后再补上。

如果Cython无法编译Python模块,则pyximport将转而加载源模块。注意,不建议让pyximport在最终用户侧构建代码,因为它会挂接到其导入系统中。 迎合最终用户的最佳方法是以wheel包装形式提供预制的二进制包装。

扩展阅读

上一篇下一篇

猜你喜欢

热点阅读