如何进行A/B实验
案例背景：
某基于地理位置的陌生人社交交友平台（类似于探探），近期由于竞品的影响，配对率和DAU增速均出现一定程度的放缓；
为解决这个问题，老板提出想通过在社交名片上展示“与你擦肩而过n次“（背后假设是，用户更愿意与那些在线下距离更近的用户进一步接触）的标签，且配对成功后会有消息提醒，鼓励用户进行右滑配对，提升配对率。
image
image
预期该功能上线后，可将用户的配对率由原来的20%提升至30%，一共提高10个百分点。
（每一个用户的）配对率=配对的次数/右滑次数
实验从全体用户总随机抽样。
已知：
1.实验结果数据如下：
image
2.用户使用该功能路径：
打开APP-进入配对界面-点击左滑或右划-划到有“与你擦肩而过n次”的用户
请同学们将下表填写完整：
image
注：在用网站计算P值时，在选择P-value Type时，选择Right Tail.
实验目标
提高用户在该产品上的配对率以及DAU
发现问题
- 近期由于竞品的影响，该产品配对率及DAU增速放缓
- 用户更愿意与那些在线下距离更近的用户进一步接触，而该产品目前未能满足这一需求
提出假设
通过在社交名片上展示“与你擦肩而过n次“的标签，且配对成功后会有消息提醒，鼓励用户进行右滑配对，可提高用户配对率及日活
检测指标
定义目标指标
本次优化的目标指标为用户配对率
定义流程指标
使用流程：打开APP-进入配对界面-点击左滑或右划-划到有“与你擦肩而过n次”的用户——右划——配对结果
对应指标：日期、进入配对界面次数、标签展现次数、右划次数、配对次数
实验受众
本次标签功能针对的是全体用户，未存在某明显特征用户的筛选要求
实验样本预估
利用网站来计算样本量，用户的配对率由原来的20%提升至30%，显著性水平α=0.05，计算出需要的样本数量至少为140
image
实验结论
1 实验组、对照组的均值和标准差
image
2 计算z值
image
3 计算p值
image
p值为0.15的意义是：新功能上线对配对率没有影响为真时，样本观察结果“用户的配对率由原来的20%提升至30%”的概率为15%。由于我们设定的显著性水平α=0.05，p>α，则无法拒绝原假设，因此实验带来的差异性不显著，新功能上线对配对率没有提升
AB实验流程表
image
