打造企业级移动测试云平台

背景

移动技术发展到现阶段，原生、混合式技术发展的足够成熟，可以无缝融合。而随着移动技术的发展和革新，移动领域的测试技术和实践也有了一定发展：工具不再像早期一样几家独大，选择性越来越多；从浅尝辄止的实验阶段到真实项目中的自动化测试落地。这些实践在一定程度上提升了测试反馈效率，在迭代交付的过程中出色的完成了质量保证的工作，但在相对漫长的实践过程中，我们依然可以总结一些痛点：

1、移动自动化测试的执行效率远不及Web应用

有过Web自动化测试经验的同学对于Selenium肯定不会陌生，Web端的并发测试使得测试在有限资源的情况下按照我们的期望并发执行。而且由于keychain等问题，很难在测试用例之间做到互不影响、对于测试环境的清理和准备也有很大难度。

2、很难全面覆盖繁杂的测试设备

Web自动化测试关注的测试环境相对单纯，针对不同项目、产品和市场，无非是对不同的浏览器和操作系统有不同程度的支持。而对于不同浏览器也有不同的driver来支持。而在移动测试中，很难做到对众多厂商和不同操作系统设备进行模拟。

3、移动自动化框架很难支持到回归测试颗粒度

在移动端(以iOS为例)，受限于Apple的机制，大部分框架很难覆盖到与iOS系统/第三方App交互的场景，例如系统通知跳转、实时通讯应用信息发送等场景。而若无法覆盖核心功能，那么自动化测试的落地实则是在给自己和团队挖坑，得不偿失。

image

这些问题在随着WebDriverAgent的成熟以及XCode 9的新特性 —— Multiple concurrent simulators的出现，得到了极大程度的解决，我们可以像对Web应用一样，对移动端应用在不同的simulator上并发执行测试用例，极大提升了测试反馈效率。而且，测试人员不再受限从而可以编写覆盖率更高的测试用例。

除了普适性问题之外企业对移动测试方案潜在需求？

在项目的具体实施过程中，除了我们经常被这些普遍存在的细节问题困扰之外，企业或组织级客户已经对移动端自动化测试提出了更高的要求。在一次机会给客户讲解移动端自动化测试趋势时发现，新的框架的确会使客户眼前一亮，但是，在实践上的优势无非是你比其他人先研究了什么，这样的领先微乎其微，在交流过程中观察到客户更大的痛点是:

如何同时覆盖到更多物理设备？如何更好的构建和重用基础设施？如何跨地域高效使用测试资源？

带着这几个问题，我们对比了一些现有的可用方案，例如AWS device farm。Device farm是针对移动App提供的测试服务，用户可以对在AWS托管的基于iOS和Android物理设备测试原生和混合应用。用户既可以使用各种测试框架来做自动化测试，也可以远程访问设备进行应用程序的测试和调试。

但是该解决方案也是有一定局限性的，当测试运行期间同时执行测试的设备最大只有五个，而运行测试的时间也被限制到60分钟。当然上述的限制可以根据需要适当的放松，但是企业和用户不得不承担价值不菲成本。

与AWS device farm类似，SauceLabs和Xamarin也提供类似的平台，那SauceLabs的服务举例，如果想使用无限运行时间，支持24个并发运行设备，模拟器用户需要每月承担3576刀，而如果想使用真实设备进行测试，大概需要每月花费7200刀。这种昂贵的成本对于企业很难承受，而且重要的是这种资源是无法复制，企业不得不持续为云服务支付高昂的费用。

image

安全性也是企业需要考虑的问题，用户不得不在云测试平台上传自己的IPA或APK。我们当然可以信赖AWS的安全机制。一些对安全性要求较高的企业来说，更想规避这样的风险。

打造私有移动真机测试平台

通过分析，对于客户的需求大概涵盖几点：真实设备、并发、成本、安全、可重用。鉴于这些需求，我们把目标进行拆分：

1.设备管理——服务发现与注册

在该实例中我们使用WebDriverAgent作为测试框架，需要运行在每一个物理设备上，我们可以把这些物理设备当作Agent集群。这些集群设备就是我们运行WebDriverAgent的服务终端，我们可以通过很简单的程序让WebDriverAgent自动在设备上运行。通过服务发现与注册机制，把WebDriverAgent服务注册在通过Ansible管理的Proxy上。而服务发现与注册不单单解决了复杂的设备管理，而且可以解决分布式团队合作时设备跨地域有效利用的问题。

image

2.平台数据可视化

对于一个测试平台来说，如何把所有可用的服务(机器)、服务状态、自动重启和crash报告等数据可视化给企业终端用户，是极为重要的。那老牌Apache zookeeper来说，提供了友好的服务可视化管理功能并且可以根据用户需求进行二次开发。重要的是，这些底层基础设施服务可以在之后的任何一个移动测试项目中被重用。

3.自动化测试运行和报告生成

自动化测试平台虽然提供了强大的服务(设备)管理、服务可视化等功能。而自动化测试的核心需求依然是如何保障测试的独立性、稳定性、易维护性、重用性和覆盖率。通过WebDriverAgent跨语言测试框架，我们可以像架构Web自动化测试一样来开发针对移动端的测试工程。但需要注意的是移动测试不同的是真实物理设备，而不是计算机的某个进程。另外，如何接触测试场景的相互依赖、保证测试间的独立性，以及如何清理测试环境，需要大家在进行移动端架构的时候事先考虑。

这样一来，我们如果可以解决这三个问题，就可以不受昂贵的成本限制，为企业量身定做适合自己的业务规模的移动测试私有云了，不但为企业和组织机构构建了大型测试服务平台，同时也解决了之前提到的普适性问题。

image

总结

随着DevOps的发展，软件工程的开发、部署、上线、应急预案等都被自动化监控和处理。如果我们依然停留在“成熟”的解决方案而缺少思考，那么留给QA/测试人员的发展空间越来越少。

我们需要通过对测试技术细节的不断归纳、对比和练习，抓住领域发展趋势和真正的客户诉求，结合其他非测试技术，帮助自己在测试技能上有所突破，同时帮助自己提升构思和落地解决方案的能力。

文／ThoughtWorks梁真