2019-04-06-数据分析3-效果回归

一、什么是效果回归

即在项目完成时对项目效果的分析，以及对分析结果的进一步行动。可以拆解为回答以下问题：

1.有没有解决问题/达成目标？

2.if ture,有没有进一步优化的空间、有没有引入新的问题，优化/解决手段是什么？

3.if false,是为什么，如果要达到目标，接下来应该怎么做？

二、如何做效果回归

重点关注前两个环节，并且可以再细分为五步。按项目启动前，开发上线和上线后来细分。

项目启动前

step1：明确目标：产品/项目目标是什么？

step2：指标体系：该目标可以用哪些数据指标来衡量？

怎样建立指标体系：

问题和目标是什么：找到核心指标

解决问题和实现目标的关键路径是什么：找到过程指标

新的路径伤害了谁:找到观察指标

开发上线

step3:确定上线方式：

全流量上线：

如果核心/过程/观察指标仅与本项目有关，评估效果很好、希望尽快闪现拿到收益时，可以选择全流量上线。

回归方法：实验期同比上个周期，变化了xx%

小流量上线：

如果核心指标/过程/观察指标变化可能受项目外的因素影响，或者项目效果存在一定的不确定性时，尽量选择AB test。

回归方式：实验流量比基线，变化了xx%

特别注意：

抽样方法是否随机。

样本集合是否有天然差异，先进行流量空跑，避免问题。

上线后

step4:收集step2中的指标，看是否达到step1的预期

step5:分析问题产出结论

if true,产品循环暂时中止；

if false,新的产品循环开始。

三、实例

案例：百度搜索搜索建议（sug）搜索效果评估

step1：产品目标：降低用户输入成本

step2：指标体系

核心指标：用户输入时间预期降低2s

过程指标：sug 展现率、平均输入长度，sug 点击率

通过观察分析用户的输入流程来确定。用户输入效率的影响因素：sug 展现的比例、在哪个输入长度下展现，是否被用户点击。

观察指标：sug 输入 query 的搜索结果满足度

sug 改动对用户输入流程的影响是可控的，对输入后搜索体验的影响是不确定的。因为 sug 起到了推荐效果的作用。

step3：确定上线方式

小流量上线：实验组对照组各10%流量。

step4：收集指标数据

核心指标：降低1.2s，有收益，但低于预期

过程指标：

sug 展现率降低，不符预期

平均输入长度变短，符合预期

sug 点击率没有变化，不符预期

观察指标：搜索满足度降低，与预期不符

step5:分析问题产出结论

性能问题：导致长词会 sug 加载过慢，拉低展现率和点击率。

需要优化性能。

在热门搜索词上做了需求拓展，对应搜索结果过变差

需要进行搜索排序的优化。

四、总结

效果回归是决定一个产品循环终止或再开始的枢纽。

整个工作贯穿项目前中后三个阶段；项目启动前对策略目标和过程的深刻剖析是效果回归工作最关键和重要的部分。