Python高效办公

openpyxl3.0官方文档(3)——性能分析

2020-06-30  本文已影响0人  Sinchard

openpyxl在平衡功能和性能上做来很大努力。毫无疑问,我们更关注功能而不是优化:因为一旦完成API,性能优化也就变得更容易。与其他库和应用程序相比,内存占用率很高,大约是原始文件大小的50倍。例如,对于50MB的Excel文件,内存将占用2.5GB。由于许多用例只涉及读取或写入文件,加上optimized模式的应用,这将不是问题。

测试基准¶

所有的测试基准都是综合的,并且非常依赖于硬件,但是仍然可以得出结论。

写入性能¶

测试代码可以调整为使用更多工作表或者调整字符串数据的比例。因为使用的python版本也会显著影响性能,所以运行脚本也可以用于在tox环境中测试不同版本的python。
写入性能与著名的xlsxwriter进行了比较

    Versions:
    python: 3.6.9
    openpyxl: 3.0.1
    xlsxwriter: 1.2.5
    
    Dimensions:
        Rows = 1000
        Cols = 50
        Sheets = 1
        Proportion text = 0.10
    
    Times:
        xlsxwriter            :   0.59
        xlsxwriter (optimised):   0.54
        openpyxl              :   0.73
        openpyxl (optimised)  :   0.61
    
    
    Versions:
    python: 3.7.5
    openpyxl: 3.0.1
    xlsxwriter: 1.2.5
    
    Dimensions:
        Rows = 1000
        Cols = 50
        Sheets = 1
        Proportion text = 0.10
    
    Times:
        xlsxwriter            :   0.65
        xlsxwriter (optimised):   0.53
        openpyxl              :   0.70
        openpyxl (optimised)  :   0.63
    
    
    Versions:
    python: 3.8.0
    openpyxl: 3.0.1
    xlsxwriter: 1.2.5
    
    Dimensions:
        Rows = 1000
        Cols = 50
        Sheets = 1
        Proportion text = 0.10
    
    Times:
        xlsxwriter            :   0.54
        xlsxwriter (optimised):   0.50
        openpyxl              :   1.10
        openpyxl (optimised)  :   0.57
    

读取性能¶

读取性能测试使用的以前的bug report,与xlrd库进行比较。xlrd主要用于后缀为.XLS旧的BIFF文件格式文件,对XLSX的支持有限。
基准测试的代码运行结果显示,在处理文件时选择正确选项很重要。当禁用外部链接时,openpyxl将停止打开链接工作表的缓存副本。
两个库之间的一个主要区别是openpyxl的read-only模式会立刻打开一个工作簿,使其适合于多个进程,也显著地减少了内存使用。xlrd不会自动将日期和时间转换为Python日期时间而是对单元格进行注释,但在客户端代码中这样做会显著降低性能。

    Versions:
    python: 3.6.9
    xlread: 1.2.0
    openpyxl: 3.0.1
    
    openpyxl, read-only
        Workbook loaded 1.14s
        OptimizationData 23.17s
        Output Model 0.00s
        >>DATA>> 0.00s
        Store days 0% 23.92s
        Store days 100% 17.35s
        Total time 65.59s
        0 cells in total
    
    Versions:
    python: 3.7.5
    xlread: 1.2.0
    openpyxl: 3.0.1
    
    openpyxl, read-only
        Workbook loaded 0.98s
        OptimizationData 21.35s
        Output Model 0.00s
        >>DATA>> 0.00s
        Store days 0% 20.70s
        Store days 100% 16.16s
        Total time 59.19s
        0 cells in total
    
    Versions:
    python: 3.8.0
    xlread: 1.2.0
    openpyxl: 3.0.1
    
    openpyxl, read-only
        Workbook loaded 0.90s
        OptimizationData 19.58s
        Output Model 0.00s
        >>DATA>> 0.00s
        Store days 0% 19.35s
        Store days 100% 15.02s
        Total time 54.85s
        0 cells in total
    

并行处理¶

读取工作表相当耗费CPU,这限制了并行化带来的好处。但是,如果您主要是想使用工作簿的内容,那么可以使用openpyxl的read-only模式,打开工作簿的多个实例,同时利用多个cpu。
示例代码使用与读取测试相同的源文件,由于创建了额外的python进程,性能可以轻松地扩展并且开销很小。

    Parallised Read
        Workbook loaded 1.12s
        >>DATA>> 2.27s
        Output Model 2.30s
        Store days 100% 37.18s
        OptimizationData 44.09s
        Store days 0% 45.60s
        Total time 46.76s
    

水平有限,如果有朋友发现文中许多翻译不当的地方,请随时指正。
翻译不易,也请大家多多点赞!

上一篇下一篇

猜你喜欢

热点阅读