数据测试(质量检测)
2021-01-13 本文已影响0人
warManHy
数据质检:对于数据进行质量检测,主要包括数据规格,数据和服务的兼容性;测试时需要主要数据的筛选,数据测试时间,数据在服务应用影响范围;
举例:在地图导航业务中,全国范围内的数据几乎每天都会进行制作编译上线,就会有数据的变更;
质检需要关注粗略有:
- 数据规格:正常的话是在数据团队自己也会测试,但是服务一般使用数据会经过编译等方式,原数据在服务应用的规格需要测试
- 服务加载数据:服务是否可以正确加载新数据
- 服务功能一致性:新数据加载后,服务功能是否稳定
- 新增数据专项测试: 新旧数据diff出,根据业务形式测试
当然以上测试和大家所谓大数据测试还有所不同,大数据测试一般是利用集群进行分布式计算汇聚,以上测试的数据规格测试也可以跑集群任务,但是我认为这样太暴力,没有将数据和服务业务整合理解,浪费资源,毕竟机器成本也是一个工程师需要关注的,好的方案可以节约成本。
接下来谈一下我认为具备哪些能力可以更加胜任以上工作:
- 服务业务熟悉:业务架构,数据上下游关系,数据在服务应用
- 服务测试方式整体架构熟悉:如何构造自动化请求,如何性能压测,如何数据diff。。。
- 一定的编码能力:构建高可用的服务进行质检,例如python分布式框架,多进程,正则,sql,hadoop任务等。
- 良好的沟通能力:和不同人交流,很重要。
- 良好的心态
当然以上也是我需要慢慢加强的。