数据测试(质量检测)

2021-01-13  本文已影响0人  warManHy

数据质检:对于数据进行质量检测,主要包括数据规格,数据和服务的兼容性;测试时需要主要数据的筛选,数据测试时间,数据在服务应用影响范围;

举例:在地图导航业务中,全国范围内的数据几乎每天都会进行制作编译上线,就会有数据的变更;
质检需要关注粗略有:

  1. 数据规格:正常的话是在数据团队自己也会测试,但是服务一般使用数据会经过编译等方式,原数据在服务应用的规格需要测试
  2. 服务加载数据:服务是否可以正确加载新数据
  3. 服务功能一致性:新数据加载后,服务功能是否稳定
  4. 新增数据专项测试: 新旧数据diff出,根据业务形式测试

当然以上测试和大家所谓大数据测试还有所不同,大数据测试一般是利用集群进行分布式计算汇聚,以上测试的数据规格测试也可以跑集群任务,但是我认为这样太暴力,没有将数据和服务业务整合理解,浪费资源,毕竟机器成本也是一个工程师需要关注的,好的方案可以节约成本。

接下来谈一下我认为具备哪些能力可以更加胜任以上工作:

  1. 服务业务熟悉:业务架构,数据上下游关系,数据在服务应用
  2. 服务测试方式整体架构熟悉:如何构造自动化请求,如何性能压测,如何数据diff。。。
  3. 一定的编码能力:构建高可用的服务进行质检,例如python分布式框架,多进程,正则,sql,hadoop任务等。
  4. 良好的沟通能力:和不同人交流,很重要。
  5. 良好的心态

当然以上也是我需要慢慢加强的。

上一篇下一篇

猜你喜欢

热点阅读