iOS APP收集UI自动化的代码覆盖率(Slather)
覆盖率:
代码覆盖(英语:Code coverage)是软件测试中的一种度量,描述程式中源代码被测试的比例和程度,所得比例称为代码覆盖率。
gcov lcov已经过时:
gcov是Linux下进行代码覆盖测试的工具,随着gcc一起发布。lcov是gcov的图形化前端工具,根据gcov生成的内容,处理成一颗完整的html树,包括概述、覆盖率百分百、图标等轻便直观的内容。
GCC编译器不能满足苹果的许多特定需求,所以Xcode 5开始苹果就不再在Xcode里内置GCC编译器了。现在Xcode也内置了搜集Coverage的工具,我们直接使用即可,也没有必要去用gcov了。
Xcode中的覆盖率:
在 Xcode 6 以及之前的版本中,如果你使用苹果内建在 Xcode 当中的 OCUnit/XCUnit 等测试框架撰写单元测试的话,Xcode 会在测试的过程中产生 gcc 格式的覆盖率(coverage)报告,叫做 gcda(意思是 gcov data file)档案;如果我们想将产生测试覆盖率的流程整合到 Jenkins 等持续整合系统中,我们可以用 gonvr) 等工具,将测试报告转换成 XML 或 HTML 格式,这将我们就可以在系统中,看到每个 build 的覆盖图表,以及覆盖率变化的趋势。
但是在 Xcode 7 之后,苹果将 gcc 的工具换成 llvm 的工具,这种几年前的方案便变得不敷使用。在 Xcode 7 中,虽然我们可以指定要求产生 gcc 格式的覆盖率档案,似乎可以与我们过去的工作流程相容,但是產生出来的结果非常不准确;而苹果的立场大概是,反正 Xcode Server 可以正确显示覆盖率报告,如果你用的不是 Xcoder Server,他们就不管了。而现在要将 Xcode 中 llvm 工具产生出来的报告,转换成 XML/HTML 等格式,选择 Slather,是个不错的选择。
完整的APP客户端收集UI自动化的代码覆盖率并生成测试报告的过程:
首先是跑自动化,跑的时候记得指定 -enableCodeCoverage Yes,不需要在工程里在指定了,然后在buildDerived里,Intermediates里,CodeCoverage里,有个codeCoverage.profdata,这个就是最后的覆盖率文件,但是不可读。这时候就是Slather上场的时候了,具体用法请自行谷歌或者去github上看,最后生成的报告是酱紫的。
是在你执行命令的目录下,有个html目录,里面的index.html,记住这个路径,把它付到你的报告里就好啦,当然格式需要你写脚本调试下,这个自己按照喜好来就好啦。
一个Bug:
我在过程中,发现了个很诡异的问题,就是如果在Xcode中,点运行,生成的报告是有数据的,覆盖率是准确的,但是如果用命令行,就是0。后来发现,这是一个苹果的bug。原因是因为:
Xcode IDE和xcodebuild使用不同的uitests启动器(和调试器):
Xcode IDE 使用这个 plugin Xcode.app/Contents/PlugIns/DebuggerLLDB.ideplugin
但是
xcodebuild 使用 IDEFoundation framework Xcode.app/Contents/Frameworks/IDEFoundation.framework (并且不附加任何debugger)
我不能让xcodebuild使用 Xcode.DebuggerFoundation.Launcher.LLDB作为启动器。
值得开心的是,这个bug已经在Xcode 9修复,坐等正式版~~