A/B测试相关问题

       做A/B测试的理由很多，Facebook、Google、BAT、滴滴、美团……大公司都在做。但知道它们为什么做？怎么做？A/B测试有哪些方法论来指导最近实践，让我们来看点干的。

什么是移动端A/B测试？

       A/B测试简单讲，就是我们同时对同一个网站的两个版本进行试验，测量关键指标，选出最优版本。移动A/B测试就是指把这个试验用来对比优化移动应用。

       通常为了将变量与测试结果相关联，A/B测试一次只改变一个变量。同时改变多个变量的A/B测试我们把它叫多变量测试，或MVT。这些测试对于测量同一个页面上的不同变量之间的相互作用是有用的，但必须精心设计，以找到有意义的相关性。

移动端A/B测试应该测试什么？

       对于移动端，几乎所有都可以（并应该）进行A/B测试。许多人认为只是粗浅的以为A/B测试只能用在设计变化上，比如调整登陆按钮颜色等，这是不对的。理想情况下，A/B测试过程囊括比用户界面元素多得多的内容。通常来说，移动端可进行A/B测试的包括：

A/B test

       对于App拥有者来说，如果你想优化转化和内容，对每个变量进行测试都是有意义的。

从移动端A/B测试中能得到什么？

       除了转化率的明显提升，关于为什么要对你的App进行A/B测试有一个很大的原因在于，A/B测试是确保你所做的更改不会意外的让用户体验更糟糕的唯一方法。

       我们从案例研究发现，比起提升转化率企业应用更担心的是产品崩溃等迭代风险。一个流行应用程序的A/B测试务必要确保必要的变化（如更新和升级）不对用户体验造成负面影响。这也是一款A/B测试工具好坏的评判标准。

       对消极和积极影响的权衡评估会是优秀A/B测试平台的重要组成部分。如果能提供双边测试，对A/B测试里积极的改变跟消极的改变同时观测。比如，不必担心一个推送通知增加了你的打开率，但同时也增加了应用的卸载率。具有双边测试功能的A/B测试会根据得到的全面的App表现来权衡决策。

       在理想的情况下，我们可以认为一个改变能提升转化，没有任何后果，但在现实中，每一个变化都是权衡折中的结果。不知道你放弃了什么，是做不出好的优化决策的。

怎么做好A/B测试？

       决定为你的产品进行A/B测试是朝正确方向迈出的第一步，但不是最后一步。还需要设计一个有效的测试，让分析软件来帮你分析。

       通常，A/B测试应该是彻底的，花时间为你能想到的每个有意义的变量设计测试。优秀A/B测试平台设计哲学的一部分是：发现你不知道你不知道的（通常来说知识或信息有四种类型，你知道你知道的、你知道你不知道的、你不知道你知道的、你不知道你不知道的，你不知道你不知道的对我们的价值可能是最大的）。所以需要平台能显示用户在A/B测试中所有的统计显著场景。即使一个变量对你似乎不重要，数据也可能会告诉你一个不同的故事，而这就是好的A/B测试工具的价值。

       一旦开始A/B测试，就不得不考虑测试用户群体细分，这取决于你的测试目的是什么。

       如果打算发布一个新功能，最好把这个功能先发布给最忠实的用户。你可以给这些忠实用户发一些消息宣布新功能，并提供反馈渠道。他们更容易理解新功能，并能提供有价值的使用数据。

       测试了部分用户的反应之后，准备推出这个功能给全部用户，这时候就可以给全部用户发送更新消息。

       另外，如果你正在做一个小的布局更改，你可以根据用户使用频次把他们放到不同的类别里，也许是不活跃的用户对更新感到困惑（或反之亦然）。如果两类用户集中在一起的，你可能不会得到一个有意义的结果，因为它不会告诉你布局变化的好坏。事实上，所有用户杂糅在一起，导致即使我们做了A/B测试，也得不出有效结果。所以，我们需要按用户群体细分去做A/B测试，高质量用户、留存用户、低质量用户、不活跃用户，它们的行为是怎么的？这才是有效A/B测试的关键。

A/B Test

       分类发现区别，区别找到差异，差异引爆增长，事实上Facebook、Twitter、Dropbox等公司就是通过这种方式发现增长密码的。