测试用例设计
好的测试用例一定是一个完备的集合,它能够覆盖所有等价类以及各边界值,而跟能是否发现缺陷无关
三种最常用的测试用例设计方法:
第一,等价类划分方法
等价类中任意一个输入数据对于揭露程序中潜在错误都有相同效果。后续我们只要从每个等价类中任意选取一个值进行测试,就剋用少量具有代表性的测试输入取得较好的测试覆盖效果。
eg:成绩取值范围0-100之间整数,及格60
有效等价类:0-59之间任意整数
有效等价类:60-100之间任意整数
无效等价类1:0-100之间任何浮点数
无效等价类2:小于0负数
无效等价类3:大于100整数
无效等价类:其他任意非数字字符
第二,边界值分析法
边界值分析是对等价类划分的补充。
eg:上述成绩边界值:-1,0,1,59,60,61,99,100,101
第三,错误推测法
错误推测方法是指基于对被测软件系统设计的理解,过往经验以及个人直觉,推测处软件可能存在的缺陷,从而有针对性的设计测试用例的方法。这个方法强调的是对被测软件的需求理解以及设计实现的细节把握,当然还有个人能力。
比如,Web 界面的 GUI 功能测试,需要考虑浏览器在有缓存和没有缓存下的表现;Web Service 的 API 测试,需要考虑被测 API 所依赖的第三方 API 出错下的处理逻辑;对于代码级的单元测试,需要考虑被测函数的输入参数为空情况下的内部处理逻辑等等。由此可见,这些测试用例的设计都是基于曾经遇到的问题而进行的错误推测,很大程度上取决于个人能力。
在软件企业的具体实践中,为了降低对个人能力的依赖,通常会建立常见缺陷知识库,在测试设计的过程中,会使用缺陷知识库作为检查点列表(checklist),去帮助优化补充测试用例的设计。
对于中小企业,可能最初的方法就是建立一个简单的 wiki 页面,让测试工程师完成测试用例的最初设计后对应这个 wiki 页面先做一轮自检,如果在后续测试中发现了新的点,就会继续完善这个 wiki 页面。
对于测试基础架构比较成熟的中大型软件企业,通常会以该缺陷知识库作为数据驱动测试的输入来自动生成部分的测试数据
在真实的工程实践中,不同的软件项目在研发生命周期的各个阶段都会有不同的测试类型。 比如,传统软件的开发阶段通常会有单元测试,软件模块集成阶段会有代码级集成测试,打包部署后会有面向终端用户的 GUI 测试;再比如,电商网站的测试会分为服务器端基于 API 的测试、中间件测试、前端 GUI 测试等。
对于每一种不同的测试类型,设计出“好的”测试用例的关注点和方法论可能会有很大的差异, 有些可能采用黑盒方法,有些可能采用白盒方法,有些还会采用灰盒方法(比如,微服务架构中的测试),所以很难有一套放之四海而皆准的套路。
所以,在这篇文章中,我仅以最常见、最容易理解的面向终端用户的 GUI 测试为例,跟你聊聊如何才能设计一个“好的”测试用例。
面向终端用户的 GUI 测试,最核心的测试点就是验证软件对需求的满足程度,这就要求测试工程师对被测软件的需求有深入的理解。在我看来,深入理解被测软件需求的最好方法是,测试工程师在需求分析和设计阶段就开始介入,因为这个阶段是理解和掌握软件的原始业务需求的最好时机。
只有真正理解了原始业务需求之后,才有可能从业务需求的角度去设计针对性明确、从终端用户使用场景考虑的端到端(End-2-End)的测试用例集。这个阶段的测试用例设计,主要目的是验证各个业务需求是否被满足,主要采用基于黑盒的测试设计方法。
在具体的用例设计时,首先需要搞清楚每一个业务需求所对应的多个软件功能需求点,然后分析出每个软件功能需求点对应的多个测试需求点,最后再针对每个测试需求点设计测试用例。
以用户登录为例
图中的业务需求到软件功能需求、软件功能需求到测试需求,以及测试需求到测试用例的映射关系,在非互联网软件企业的实践中,通常会使用需求追踪管理工具(比如 ALM、DOORS、JIRA、TestLink 等)来管理,并以此来衡量测试用例对业务需求、软件功能需求的覆盖率。
映射关系具体到测试用例本身的设计,有两个关键点需要你注意。
1、从软件功能需求出发,全面地、无遗漏地识别出测试需求是至关重要的,这将直接关系到用例的测试覆盖率。 比如,如果你没有识别出用户登录功能的安全性测试需求,那么后续设计的测试用例就完全不会涉及安全性,最终造成重要测试漏洞。
2、对于识别出的每个测试需求点,需要综合运用等价类划分、边界值分析和错误推测方法来全面地设计测试用例。 这里需要注意的是,要综合运用这三种方法,并针对每个测试需求点的具体情况,进行灵活选择。
以“用户登录”的功能性测试需求为例,你首先应该对“用户名”和“密码”这两个输入项分别进行等价类划分,列出对应的有效等价类和无效等价类,对于无效等价类的识别可以采用错误猜测法(比如,用户名包含特殊字符等),然后基于两者可能的组合,设计出第一批测试用例。
等价类划分完后,你需要补充“用户名”和“密码”这两个输入项的边界值的测试用例,比如用户名为空(NULL)、用户名长度刚刚大于允许长度等。
用例设计的其他经验
1、只有深入理解被测试软件的架构,你才能设计出“有的放矢”的测试用例集,去发现系统边界以及系统集成上的潜在缺陷。
作为测试工程师,切忌不能把整个被测系统看作一个大黑盒,你必须对内部的架构有清楚的认识,比如数据库连接方式、数据库的读写分离、消息中间件 Kafka 的配置、缓存系统的层级分布、第三方系统的集成等等。
2、必须深入理解被测软件的设计与实现细节,深入理解软件内部的处理逻辑。
单单根据测试需求点设计的用例,只能覆盖“表面”的一层,往往会覆盖不到内部的处理流程、分支处理,而没有覆盖到的部分就很可能出现缺陷遗漏。在具体实践中,你可以通过代码覆盖率指标找出可能的测试遗漏点。
同时,切忌不要以开发代码的实现为依据设计测试用例。因为开发代码实现的错误会导致测试用例也出错,所以你应该根据原始需求设计测试用例。
3、需要引入需求覆盖率和代码覆盖率来衡量测试执行的完备性,并以此为依据来找出遗漏的测试点。