【连载】3.2 策略产品经理跟进开发评估基本方法

mei mei

在讲述策略评估之前首先要了解下策略类项目的流程

那么为什么要做这么多评估？

策略评估的方法

1.策略的质量评估：关注每个策略的质量，例如军事类新闻的识别策略，看识别的效果如何

输出的结论：召回率、准确率

召回率 = 希望被覆盖到的案例中策略实际覆盖的案例 /理想态下希望被覆盖的案例

准确率 = 策略覆盖的案例中真正被覆盖的 / 策略覆盖的所有案例

这两个往往是对立的，针对产品阶段性目标来重点提升其中一个

2.diff评估，关注复杂系统中的某个策略上线后，对用户体验的真正影响，例如军事类新闻的识别策略上线后，用户具感知到的推荐结果是否真的变好

输出结论：diff影响面、good：same：bad 的比例

diff影响面：策略调整后，用户感知发生变化的比例，通常要小于策略影响面

good：same：bad  ，随机抽取有变化的case，站在用户体验角度评估效果是变好了、变坏了、还是没变化

方法：

3.如何做评估？

基本方法论还是如下四步：

具体如何做评估，更关注方法论的后三个环节（第一个环节在需求文档中里已经描述了），具体包括三个步骤

a.基于理想态找到问题：策略召回率理想是100%，目前只有60%，剩余40%没被策略召回；

b.汇总和抽象问题，提出解决思路or方向：40%未召回的问题 抽象为主要分为3类...

c.给出结论：问题依然严重吧、需要优化or可以接受、策略可以上线了。如何衡量？老问题：以投入产出比为主要因素，通常以项目预期为终止点；新问题：通常容忍度较低，以pm认为的不可忍受的体验为标准

小结

开发过程中的评估是策略pm的必经之路，是pm和rd通过深度配合在黑暗中找到道路的重要环节

召回率、准确率、diff 影响面、g：s：b四个指标是策略评估的主心骨，所有评估都是围绕着他们发现和抽象问题的过程