模型评估——A/B 测试

机器学习中 A/B测试是验证模型最终效果的主要手段。

在已经对模型进行充分的离线评估的情况下，为什么还需要进行在线的A/B 测试的原因

• 离线评估无法完全消除模型过拟合的影响。
• 离线评估无法完全还原线上的工程环境。一般来讲，离线评估往往没有考虑线上环境的延迟、数据丢失、标签数据缺失等情况。也就是说，离线评估是理想工程环境下的结果。
• 离线评估一般是针对模型本身进行评估，线上系统的某些商业指标在离线评估中无法计算。如推荐问题中，离线评估关注ROC曲线、P-R曲线，而线上评估可以全面了解用户点击率、留存时长、PV访问量等变化。

如何进行A/B测试 主要手段是进行用户分桶，将用户分成实验组和对照组，对实验组用户新模型，对照组进行旧模型。

而且要保证分桶的样本的独立性以及采样的无偏性。