DI/ETL/FS系统中数据准确性验证的羽量级实现

数据集成（DI）、数据仓库（ETL）、财务系统（FS ）这类“抽数”、“洗数”动作较多的系统在研发过程中，测试工作集中在逻辑层和数据层，缺少可直接观察的界面，而海量数据的准确性校验是一道绕不过去的坎。

测试中遇到的两大痛点：

（1）没有跨越多数据库类型的数据比对工具；

（2）测试人员肉眼比对数据，测试结果受到质疑；

那我们希望工具应该具备哪些基本功能？

（1）可以连接数据库，执行SQL，或者类SQL脚本；

（2）可以对数据库返回进行判断；

（3）可以把判断结果打印输出；

有没有这样的工具，不要太多！ 以下以JMeter为例，比较ORACLE和MYSQL内两表数据，说明该实现：

（1）建立ORACLE和MYSQL的连接：

（2）在源表和目的表分别执行SQL操作：

（3）将SQL返回存入变量：

vars.put("result1",String.valueOf(prev.getResponseDataAsString()));

vars.put("result2",String.valueOf(prev.getResponseDataAsString()));

（4）比较两变量并做出判断：

if (!vars.get("result1").equals(vars.get("result2"))) {

Failure = true; FailureMessage = "错了，两个SQL返回不一致";

}

else {

FailureMessage = "靠谱";

}

（5）打印输出判断结果（不符合期待输出）：

（5）打印输出判断结果（符合期待输出）：

之所以称为羽量级实现：

（1）需要掌握的语法点只有四处：String.valueOf()、vars.put()、.equals()、if_else，其他都在JMeter图形界面中配置，学习成本很低；

（2）JMeter是开源工具，随手可得，安装方便；

（3）执行效率很高，笔者尝试对源表和目的表50字段，百万行数据，10表UNION查询结果进行比对，执行时间不超过20秒，时间消耗主要在数据库端；

（4）SQL语法灵活，为后期比对方便，可以在SQL里插入TO_CHAR()、TRIM()等函数；

（5）JMeter可以轻松嵌套判断循环等逻辑，能够将比对异常结果定义到具体某一行位置；

（6）可以连接多种类型数据源，只要下载对应驱动，无额外成本，即使Hadoop这样的非关系数据库。

能力不在于掌握了多少奇巧，在于你对解决问题的渴望。

再多一句，JMeter是个好东西，有机会和大家聊聊用JMeter做UI自动化测试。