假设检验？在AB测试场景下的应用实践

2020-08-18 本文已影响0人弗兰克工匠

小明：一家短视频APP的运营同学，主要负责提高用户播放时长
老陈：小明的老板
用户人均播放时长维持在25分钟，近期没有很大的波动。小明辛辛苦苦联（gui）系（tian）PM姐姐、开发大大上线了一个AB实验，对照组是目前线上的APP版本，实验组是新设计的视频切换交互UI，啊哈，果然实验组的人均播放时长26.5分钟（VS对照组提升6%），他马上把这个结果送到了老陈面前，老陈问道：“这个结果有统计学上的显著性吗？”

小明内心OS：“What？什么是统计学显著？怎么计算呢？”

这时，“假设检验”、T检验、P-value等等更加懵逼的词汇浮出水面，但还是不知道如何快速落地解决问题。别慌，安排上！

问题决策树

什么是假设检验

“假设检验”，使我们研究随机变量时，对其性质进行假设，然后通过证据来验证假设是否为真。以小明的case为例，这里有几个逃脱不了需要了解的定义：

原假设 $H_ {0}$ ：实验组和对照组人均播放时长没有差异（即 $\mu_{base}=\mu_{exp}$ ）
备择假设 $H_{1}$ ：实验组和对照组人均播放时长有差异（即 $\mu_{base}\ne \mu_{exp}$ ）
显著性水平 $\alpha$ ： $\alpha$ 表示的是当 $H_ {0}$ 为真的时候，拒绝 $H_ {0}$ 的概率。虽然我们一般认为显著性水平越小越好，但是，事物都有两面性，随着 $\alpha$ 的变小， $H_ {0}$ 为假的时候，接受 $H_ {0}$ 的概率（ $\beta$ ）会上升。这里的takeaway：社会科学里，当样本量大于几百的时候，显著性水平 $\alpha$ 通常会设置为5%或1%
P-value：当 $H_ {0}$ 为真时，检测统计量比观察到的检测统计量更极端的概率（嗯，不太像人说的话）。举个不太学术的栗子🌰，假设 $H_ {0}$ ：这是一个和平的世界（俺们的向往），但时不常有些恐怖分子为非作歹，一年X次，P-value就是说当世界是和平的前提下，一年有X次甚至更多次恐袭的概率。这里就会结合显著性水平，假设 $\alpha=0.05$ ，当P-value < 0.05，说明和平的世界一年恐袭X次及以上的概率太小，则拒绝 $H_ {0}$ ，接受这是一个不太和平的世界这个事实；如果P-value > 0.05，说明和平的世界即使有些恐袭小插曲，也不能否认世界是和平的这个宏观事实。

本文旨在能够快速🔜提升应用实践，假设检验更多详细解读可以参看假设检验的逻辑是是什么？

连续变量解决方案

原始数据

user_id：用户ID，group：对照组base 实验组exp，play_duration_mins：播放时长（分钟）

user_id：每个用户唯一识别，共计40名用户
group：所在分组，20名base对照组用户，20名exp实验组用户
play_duration_mins：每个用户有记录其某日的播放时长（分钟）

数据探索EDA

import pandas as pd
from scipy import stats
df = pd.read_csv('play_duration_data.csv')
# 根据group分组查看播放时长均值、中位数等
df['play_duration_mins'].groupby(df['group']).describe()

可以看到，base组人均播放时长75.8分钟，exp组人均播放时长78.15分钟，exp组对比base组人均播放时长提升3.1%，下面我们进行T检验，以说明此差异是否具备统计学上显著性

方差齐性检验

# 方差齐性检验
base = df.loc[df['group']=='base','play_duration_mins'] # 对照组每人播放时长
exp = df.loc[df['group']=='exp','play_duration_mins'] # 实验组每人播放时长
test_res = stats.levene(base, exp, center='median')
print('w-value=%6.4f,p-value=%6.4f' % test_res)

这里同样内含一个假设检验（真是无处不在）：H0：base与exp方差相同，H1：base与exp方差不同
结果中p-value = 0.8872 > 0.05，不能拒绝H0，故base与exp方差齐性，后续T检验则需要选择方差齐性T检验

双样本T检验

stats.stats.ttest_ind(base, exp, equal_var=True)

调用stats.stats.ttest_ind方法，注意equal_var参数的选择，当方差齐性时equal_var = True，当方差不齐时equal_var = False
重新回顾下，此处我们的 $H_0$ ：base组与exp组人均播放时长没有差异， $H_1$ ：base组与exp组人均播放时长有显著差异
p-value = 0.4504 > 0.05，不能拒绝原假设，故base组与exp组人均播放时长没有显著差异

二元分类变量解决方案

这里我们换一个场景，假设我们的数据依旧是区分base和exp，不同的是数据指标为：是否留存（简单的说是次日留存，即昨日活跃的用户中今天还在活跃的用户为留存用户）。原始数据会变更为：

我们先进行数据的探查，看下base和exp分别有多少用户留存/流失：

cross_table

可以看到，base组的用户留存率 = 4/20 = 20%，exp组的用户留存率 = 8/20 = 40%
那么这两组用户留存率是否有统计学显著性呢？

卡方检验的原理简述

以上图cross_table为例：

base组里流失的用户（是否留存=0）为16人，16是实际的频数
group = base的概率：20/40=0.5，是否留存 = 0的概率：28/40=0.7
P(group=base, 留存=0) = P(group=base) * P(留存=0) = 50% * 70% = 35%
此时group=base，留存=0 期望频数 = 35% * 40 = 14
卡方检验 $H_0$ ：实际频数 = 期望频数两个分类变量无关； $H_1$ ：实际频数 $\ne$ 期望频数两个分类变量有关

print('chisq = %6.4f\n p-value = %6.4f \n dof = %i \n expected_fred = %s' % stats.chi2_contingency(cross_table))

调用stats.chi2_contingency，输出检验统计量chisq、p-value等
p-value = 0.7533 > 0.05，故不能拒绝 $H_0$ ，则说明一个用户是否留存跟其在哪个group没有关系，故两组留存率没有显著差异