「方法」如何进行“A/B Test”

大家在做功能设计的时候，是不是经常会面临多个设计方案的选择，比如某个按钮用什么颜色好，是放左边还是右边。

传统的方法通常是集体讨论，或是由某位专家/领导来拍板，实在决定不了，也会随机选一个上线。但这种方法太依赖于直觉，而且没有说服力。

下面就推荐一个比较科学的测试方法，帮助产品经理们作出最佳决策。

一、什么是A/B测试

A/B测试是一种帮助互联网产品迭代优化的实验方法。

测试目的在于通过科学的实验设计和数据采集方式，来获取具有代表性的实验结论，从而寻找到有更好的产品优化策略。

简单来说，就是为同一个目标指定两个方案（比如两个页面），让一部分用户使用A方案，另一部分用户使用B方案，记录下用户的使用情况，对比看哪个方案更符合设计。

一般会用在产品改版正式上线之前，验证新的设计是否可以提高产品的表现。

tips：A/B Test的前提是产品已有较多的用户量，所测试的页面有比较多的访问量。

1、A/B Test可以测试什么？

A/B测试可以应用在很多设计场景中，它的测试元素包括：标题、按钮、导航、视频、页面布局、价格、任务流程、图片、颜色、段落文本、社交元素等等。

比如下图：

针对标题的A/B Test

2、测试类型有哪些？

第1类：单变量VS多变量

• 单变量测试：一次只改变一个元素，是常规意义上的A/B Test。
• 多变量测试：一次改变多个元素，也叫MVT。

第2类：基于后端VS基于前端

该类测试较为复杂，需要技术团队介入，根据测试目标，对代码进行埋点或重写。

3、A/B测试工具

A/B测试的工具有很多，有免费的，也有付费的。

以下罗列了一些常见的测试工具，供大家参考使用：

• Google Website Optimizer：搜索巨头提供的免费A/B测试工具。一个很好的入门级工具，但是没有一些先进的功能。
• Visual Website Optimizer：一个易于使用的A/B测试工具，包含功能：如所见即所得的编辑器，单击地图，访问者分割和标签等。
• Unbounce and Performable：集成着陆页设计的A/B测试工具。
• Vertster,SiteSpect,Webtrends Optimizer and Omniture`s Test&Target：企业级测试工具
• App Adhoc Optimizer：国内A/B测试工具，同时支持（Web/H5、iOS、Android）及后端（Node.js、PHP、Java）A/B测试服务的专业Saas平台。
• Optimizely：是网上现有的最专业的A/B测试工具之一。它的价格可能要比其他工具搞很多（可也免费试用一个月），但它提供了一些非常棒的功能。
• Unbounce：对于登录页面的测试来讲非常不错，而且它还不仅仅是个测试工具，你还可以在无需你自己编写任何代码的情况下，用它来创建登录页面。

二、测试步骤

A/B测试的操作步骤一共有五步，分别是确定目标、设计方案、创建比较版本、发布测试、数据分析。

下面就来详细介绍一下每个步骤。

Step1：确定测试目标

不同的产品有不同的业务方向，在正式设计方案之前，我们需要明确本次测试的目标是什么。比如是想要提高付费转化率，还是想要降低跳出率？

只有在明确的测试目标的前提下，测试结果才有比较可信的数据支撑。

Step2：测试方案设计

测试方案是整个研究的核心，通过方案，团队成员可以事先进行充分沟通修改，达成共识后再落地执行。

首先，我们要建立一个假设，这个假设是根据我们的测试目标提出的一个问题，比如：

• 购买按钮颜色会影响点击率？
• 缩短购买流程可以提高付费率？
• 改变导航可以降低跳出率？

其次，根据我们建立的假设，确定测试元素（即自变量），从而生成实验对照版本。常见的测试元素有：颜色、标题、页面布局、任务流程等。

最后，根据假设确定评估指标（即因变量），也就是确定需要对比的指标。常见的评估指标有：跳出率、转化率、留存率等。

Step3：创建比较版本

完善了测试方案后，我们通过修改代码来改变产品其中一个或多个元素，建立原始版本和对照版本。

比如我们要测试按钮颜色对点击率的影响，可以创建下图版本：

Step4：发布测试

创建完两个版本后，我们就可以发布测试了。

在版本A的流量池中，我们可以将部分流量导向版本B，但不一定要5:5均分。

发布后的持续时间，可以根据目的进行控制，直到获取到足够多的测试数据。

计算工具可以参考：Visual Website Optimizer

Step5：数据分析

在结束测试投放后，我们可以快速将数据进行收集，并且直观的对比出A/B版本的转化率、跳出率、留存率等。

如下图：

不过，数据收集不是目的，最重要的是，我们要对结果进行差异性检验。

可以通过简单的经验判断，也可以利用SPSS、Excel或者A/B测试工具网站提供的计算工具进行卡方检验，总结出最后的结论。

最后再来总结一下。

A/B Test的操作有以下五个步骤：

• 第一步：确定测试目标
• 第二步：设计测试方案
• 第三步：创建比较版本
• 第四步：发布测试
• 第五步：数据分析

根据以上步骤，产品经理可以快速测试出哪个版本的产品设计更受用户欢迎。

如果大家在执行过程中有任何疑问，欢迎留言交流。