A/B测试-基于电商场景的案例实战(干货,值得收藏)
一、背景介绍
用户在电商平台通常会经历商品搜索-商品列表页-商品详情页-购物车-订单确认页-支付页等整套流程。如果和AARRR模型结合,电商便可以做很多场景的A/B测试。下图是经典的电商业务转化漏斗。
image.png
如果以“始于颜值,敬于才华,合于性格,久于善良,终于人品”来形容电商的购物流程,那么当用户点开商品详情页时,我们应该尽可能完美地展现商品地“才华”,因为这是用户在众多商品中因为“始于颜值”而做出的选择。
二、案例实战
1.现状分析并建立假设
下面我们将介绍微软官方商城的Surface商品详情页的改版案例。下图是我们经常会看到的商品详情页,首屏中的内容包括:售价、详情概览、促销信息、可选配置、商品预览等。针对这些烦恼而又必须呈现的内容,微软官方商城做了一个试验假设:如果把售价、详情、促销信息的位置做一些调整,是否会对页面转化有影响。
原始版本:
image.png
2.设定目标,制定方案
设置主要目标,用来衡量各优化版本的优劣;设置辅助目标,用来评估优化版本对其他方面的影响。需要考核的转化指标,就是加入购物车的行为。
3.设计与开发
制作2个或多个优化版本的设计原型并完成技术实现。为此设计了以下三个试验版本,如下列图:
(1)试验版本A
image.png
(2)试验版本B
image.png
(3)试验版本C
image.png
4.分配流量
确定每个线上测试版本的分流比例,初始阶段,优化方案的流量设置可以较小,根据情况逐渐增加流量。具体的来做就是使用A/B测试,让上述四种商品详情页同时上线,切割流量使不同用户看到不同的页面。
5.采集并分析数据
收集试验数据,进行有效性和效果判断:统计显著性达到95%或以上并且维持一段时间,实验可以结束;如果在95%以下,则可能需要延长测试时间;如果很长时间统计显著性不能达到95%甚至90%,则需要决定是否中止试验。最终结果是试验版本A在加入购物车的转化上,比原始版本提高了65.8%。
6.版本发布及迭代优化
根据试验结果确定发布新版本、调整分流比例继续测试或者在试验效果未达成的情况下继续优化迭代方案重新开发上线试验。本例根据试验版本A的提升结果,产品部门将此版本推广到全部流量,作为页面迭代优化的最终方案,然后持续监控,并考虑后续的持续迭代与优化。
三、案例总结
在电商转化漏斗的各个环节都可以使用大量的A/B测试来优化转化率,提升销售额。
关于A/B测试的原理和流程可参考:
1.A/B-test显著性检验
2.9种常用的数据分析方法-第三部分A/B-test