【用研专题】A/B test

这篇笔记讲可用性测试中使用的一个独立的研究方一——A/B测试；另外一篇笔记是可用性测试中使用的另一个独立的研究方法——原型测试。

01 介绍

首先要说的是，AB test指对产品的多个版本进行测试，对用户反馈的真实数据进行分析，确定哪一个方案更好。

AB test是一种独立的、单一的研究方法。它是一种定量研究，所以样本容量要足够大，样本（即被测试用户）要足够有代表性，绝对不可以找公司内部人测试。

AB test本质上是一种多变量试验，可同时对多个测试点进行测试。例如对同一页面的不同位置进行测试：对tab bar、支付button、详情信息分别进行监测。不同的测试点用不同定量的数据来展示，如UV，跳出率，转化率、成单量、付费量等。（用户日志分析所用的数据类型之后可能在查埋点相关资料时进行整理）

对数据进行分析，得到AB方案在不同测试点上不同的反馈，综合AB两个方案优劣。

__

02 如何分AB版本

ABtest是一种通用的研究方法，所以划分标准不仅可以是产品，也可以是时间、地域、消费能力等因素。

如新、旧2个方案对比；可以是2个新方案投放于同样的用户群体；可以是在不同的时间段内向同样的用户群体投放同样的方案。

__

03 补充说明

优点：知道哪个方案更好、易执行，结果有说服力，可帮助快速决策

缺点：不能说明为什么好，需要对得到的数据进行人口分析。

建议：ABtest和发版迭代、方案优化进行耦合，形成一个流程

工具：可使用第三方工具Testin A/B

__

04 步骤

  1、确定目标

-确定测试点。是流程、功能、需求……

-确定量化测试点的指标，如测试界面用的留存率、跳出率、PV、UV等衡量

 2、创建变体

有的ABtest需要多个方案如工业设计，有的不需要如互联网UI

 3、Testing

4、结果分析

-需要统计学知识，如二项分布、置信区间等

-结果可能是无效的，如AB方案基本无差异、没有收集到有效的数据，这时候需要反思，重新拟定方案

__

05 注意事项

-测试前需要制定成功/失败的标准

-测试的样本量要大

-避免先入为主的偏向干扰

-后续要进行跟踪改进