PM数据分析总结（一）——用数据分析辅助完成完美的A/BTest
身为策略产品，数据分析是日常工作中不可避免的内容，发现问题、制定策略、评估效果…每一个工作环节都需要和大量的数据打交道；与专业的数据产品和数据分析师相比，策略产品可能不需要使用复杂的数据分析模型，但了解数据分析内容，掌握基本的正确的数据分析方法，拥有数据sense，一定是成为优秀策略产品的必要基本功。
产品经理的数据分析总结这一系列，旨在总结本人在实际工作中的数据经验或者教训，如有谬误，欢迎斧正。
用数据分析辅助完成完美的A/BTest
为判断新（优化）功能点或者新（优化）策略是否更加有效，上线前使用A/BTest进行验证已经成为产品人的共识。
本文总结自己在工作过程中，如何使用基本的数据分析，保证A/BTest的可靠性、评估A/BTest效果并简单确定进一步的优化分析思路。
因为该方法使用非常普遍，所以只总结理论部分，不结合实际业务说明。
一.如何判断分流是否合理
A/BTest设计原理：
将测试内容定为两组流量的唯一变量，保证其他条件相同，通过对比测试，观察被测试的部分是否达到预期。
分流原则：
分流方法很多，无论是不分层的分流方法，或者分层的分流方法，基本原理都是要实现分流的“随机”，以保证分流后流量的均匀一致性。
前者需要合理的设计测试变量，限制其他给测试带来不利影响的外界条件，严格控制流量源头稳定，这里不再详细赘述。
对于产品经理，后者往往是一个容易忽视的问题，是否原则上的“随机”，真的可以保证分流后数据绝对均匀一致，不影响后续的追踪评估呢？
而且也存在一种case，当产品流量较小，即便技术上实现“随机”，最终结果依然存在很大的波动，如何简单的对分流数据分析判断，确认分流是否符合abtest要求？
这里需要关心两个方面的数据
1.关注评估测试效果的数据指标：
评估效果的指标指的是可以代表本次测试最终效果的重要指标，可以分为核心指标与辅助指标，根据平时工作经验，核心指标最好选取1个，也可以为多个，根据实际需求选取。
评估效果的指标通常采用均值。
不同类型数据均值的选取也不相同，通常情况下取平均值，部分可能为中位数。
2.关注数据分布之离散程度与分布形状
这里可以思考一个问题
两组数据核心指标的历史均值一致，是否说明两组数据完全一样，没有差别呢？
答案是不能。
均值反应数据的集中趋势，是描述数据的维度之一，除集中趋势之外，还应该关注数据的波动情况以及分布的形状。
历史波动：波动反应的是数据的离散程度，实际操作中，因为标准差和均值的单位是一致的，通常选取标准差描述一个波动范围更为方便。
A/BTest中，需知道A、B两组的标准差。
分布形状：
形状主要指两组数据的对称程度、偏斜程度以及扁平程度。
知道以上内容以及定义后，可以对数据进行多维度分析比较。
a.两组数据均值的差值是否小于正常波动，保证两组数据足够差异小。
b.组内标准差分别与指标对比，判断数据本身波动是否足够小，保证数据本身稳定。
c.两组标准差对比，以保证两组数据的波动情况类似。
d.两组数据的分布对比，判断是否相同。
询问了我们BI大神，按照平常经验来说：
组内标准差小于指标的5%，可认为没有波动，如果在5%～10%之间，需要分析波动大的原因，如果超过10%，则需要判断是因为数据量小，自然波动大，还是分组并没有达到随机，导致波动过大，并考虑重新分组。
以上是对数据的核心指标的求解以及判断是否合理的过程。
注意：历史数据的分析，仅针对功能优化或者策略优化，对于一个全新的功能或者策略，通常没有历史数据进行分析对比。
二.如何进行效果评估
1.关注核心指标的增长效果
按照已经确定的指标，可以是留存、点击率、使用时长等任意代表优化目标的数据。分析两组流量的最终效果，计算核心指标的绝对值与变化率，以及两组的自然波动，作出判断。
1.1 如果变化率为负，和标准差对比，是否为正常波动。不管是正常波动还是显性降低，都说明本次功能点或者策略效果不理想，需要分析原因，调整策略或者启动planB、C、D…继续测试。
1.2 如果变化率为正，同样与标准差对比，判断是否为显性增长，如果要严格区分自然波动与增长效果，需要用增长效果数据减掉自然波动绝对值。
2.关注数据分布的变化
即使核心指标为显性增长，依然要关注两组数据的分布形状是否仍然相同，对比历史数据，观察发生什么变化，思考影响变化的原因，是否新的调整导致两组用户群的使用习惯发生了其他方面的改变。
三.补充点：百分率与百分点
数据本身为xx率的情况下，效果评估中两组数据对比后的增长率和增长百分点均为百分数形式。
前者可作为增长效果评估与汇报数据。
而后者则要作为辅助指标，与波动（一般为平方差）对比，说明数据的有效性。
感谢我们@bi大神的支持与解惑。
萧饭饭，搜索推荐产品经理，WX：xiao-xiao1991，欢迎大家一同探讨，共同进步～
