如何设计一场AB测试

目录框架

背景

本季度工作的重点是提升用户对其他用户的"关注"率，想让更多的用户“关注”他们喜欢的达人，从而一方面提升内容的质量体验，一方面给分享内容的用户已激励，长期促进平台用户的活跃程度和互动。

目的

通过做A/B测试来选择一个方案来优化点击文章或者动态关注按钮，将用户的关注率从5%提升到6%

实验

实验已知条件

1、关注率

当前点击文章或动态页关注按钮的关注率5%；

2、访问量

文章或动态页每天的访问量是10000UV；

3、当前版本页面设计

文章页面和动态页面如下：

提出实验假设

本次试验的目标不仅仅是要提升点击文章或动态页关注按钮的转化率，同时也要提升漏斗转化率；我们的实现类型可以文案测试、设计测试、页面测试和路径测试，因此我们可以提出动态页路径升级和关注弹窗设计实验假设，具体如下：

动态页路径升级

（1）实验假设

如果将动态的分类的层级直接提到社区页，且进入社区页就能够第一眼看到动态信息流，同时可以直接看用户动态，也可以直接点击关注按钮，预计点击率和用户关注转化率至少提升15%；

（2） 最佳实践

微博的推荐热门页面跟Keep的页面有点类似，微博的推荐页就是以信息流的形式显示在页面上的，且层级提的很高，在推荐也的第一个分类，打开微博用户就能够直接来到这个页面用户的操作路径很短，关注按钮在APP中的曝光度达到100%，能够的触达所有进入APP的用户。

  (3)定量分析

keep我关注按钮的操作路径：社区—动态—关注；需要经历三个层级的路径才能触达关注按钮，层级过低。

2、动态式关注弹窗设计

（1）实验假设

如果将动态详情页添加多一个动态弹窗式的关注按钮

预计用户的单击关注率能够提升到8%

保留原有的文章顶部关注按钮，新增一个动态详情页底部动态弹出关注按钮小弹窗，这就可以增加关注按钮在整个动态详情页中的曝光度，且动态有动画效果，容易引起用户的注意，提醒用户点击关注。

（2）最佳实践

微博在动态详情页查看评论区的时候，在评论的底部嵌入了自动弹出的动态关注小弹窗，可以自动隐藏，也可以手动关闭，关键是动态的比较容易引起用户的注意力，相对而言曝光度也很高。

（3）定量分析

在动态详情页的底部添加动态式关注小弹窗设计之后，关注用户的单击关注率是否提升。

实验假设分析

实验操作

（一）明确假设

如果用户在文章或者动态上停留时间超过3s以上，则“关注”按钮高亮，且按钮边框开始撒花动态，引起用户的注意力，提示用户关注该用户，预计单击关注率指标能够提升到7%，因为该改突出了关注按钮的层级，能够更好的吸引用户的注意力。

（二）选择指标

1、核心指标

文章/动态关注按钮点击率

辅助指标

用户的评论留言互动率：用户的评论留言互动率越高说明用户在页面的停留时间越长，越容易对当前用户进行关注，从而也可以看出用户的点击关注率也就提高了。

反向指标

用户的取关率：提高用户的点击关注率肯定也是需要考虑取关率，用户的取关率如果是降低了，那么也就说明用户的关注率也就提升了。

（三）设置受众群体

受众群体为所有用户

（四）版本数

由于只改变单一变量，因此选择两个版本，原版本为对照组，新版本为实验组，对全部用户进行试验，统计显著性为95%。

1、假设单击关注率提升到6%

（数据来源：云眼计算）

（1）每组最小样本数量

        样本数量：6900

（2）实验时长

        实验时长=所需总样本数/实验页面每天访问用户量=6900*2/10000=1.38天

2、假设单击关注率提升到5.5%

  （数据来源：云眼计算）

（1）每组最小样本数量

        样本数量：31000

（2）实验时长

        实验时长=所需总样本数/实验页面每天访问用户量=31000*2/10000=6.2天

总结

若要提升单击点击关注率需要优化动态页路径，同时也要优化关注按钮的设计，多维度的去提升产品的用户体验，同时也将关注按钮的层提高，增加其曝光度，也只有这样多维度的优化，才能够更好的提升单击转化率。