【连载】2.3 策略产品经理发现问题通用方法论
kun kun
策略产品发现问题最有效的手段：阶段性调研
阶段性调研常用方法论，同时也是策略产品的通用方法论
通用方法论-定拆提验一.定义理想态
举个栗子
滴滴、墨迹天气属于简单情况，滴滴的理想态可以用订单成交率来衡量；墨迹天气可以用准确度定义
简单情况：对于大多数刚需和工具型产品、或只是其中的策略模块，通常都可以以【帮助用户解决问题】作为理想态，并找到单一数据指标来衡量
百度和头条属于复杂情况，他们很难找到一个单一指标来衡量它
复杂情况：但依然存在很多产品，其理想态的描述是相对复杂的
搜索，苹果的需求可能是电子产品品牌苹果、水果、电影苹果等多种情况
在描述产品实践效果的时候，基于对用户的理解、并参照竞品结果，并出根据需求影响面排序的各类搜索结果
推荐，平台是在猜测用户的非刚需求，我们永远不清楚最确的答案是什么
所以推荐类产品同样以平台当前能够给出的最佳产品方案作为理想状。
在评估策略推荐出的结果在多有候选集合中是否是最佳结果，用户行为指标作为发现问题的辅助手段。
【理想态】都是为阶段性的产品目标服务的，随着产品的金华，理想态的定义也在随着进化
理想态的进化
滴滴，最初以司机的 [应答率] 为理想态，随着业务的发展完善有了专车顺风车之后会以 [成交率] 为理想态完善闭环的订单流程，随后进化到除了用户到达外 [让用户更快的到达给用户预期的解决方案]
百度，最初 [每个搜索词下的理想静态结果集合]，随后移动端可以记录一个人更完善的行为建立完整的画像所以之后定义为 [每次搜索的满意程度，动态个性化结果]
小结
大多数工具属性的产品都可以以[帮助用户解决问题] 作为理想态，并找到单一的数据指标来衡量
同时野村子啊一些产品，其理想态的描述是相对复杂的
无论是简单还是复杂的理想态，都会随着产品进化而发生变化
二.抽样分析
策略面对的是难以枚举的一群人的问题通常需要通过样本来代表群体情况
样本们通常被叫做case
抽样的基本步骤
抽样6个步骤1.明确调研目标
首先我们需要在明确调研目标，帮助确定抽样的对象和方式
首先我们需要在明确调研目标，帮助确定抽样的对象和方式
首先我们需要在明确调研目标，帮助确定抽样的对象和方式
重要的事情说三遍
例如 ，a.想分析下 [相关视频] 推荐策略的问题，我们会分析 [所有] 推荐视频列表，分析问题
b. 分析以上策略模块中广告视频推荐策略的问题，你会抽取多有 [展现] 广告视频的视频列表，分析问题。但是她发现我只是在看展现了广告视频的行为，只能看推荐准确率但忽视了展示率，有许多合适的位置应该展示出广告来
a中每个视频下面都有推荐列表，但是对于b广告视频既有准确问题也有覆盖问题（召回问题）
2.确定抽样对象
通过一定规则筛选出 [待分析] 的全量集合
筛选规则：核心指标未达到理想态、可以代表用户的行为的最小时间窗口的全量数据
样本类型：根据策略类型，可以是:
用户个体
行为片段（session）
搜索词（query）
......其他维度
分析滴滴的成交问题：滴滴不同时间段（周末效应）地点交易情况都不同，所以直接在 [全国一周内所有未成交] 的订单中抽样
分析美团搜索满足度问题：因为搜索无法直接通过数字性指标精确筛选哪些是不满足的行为，所以只能退而求其次从 [一天全量用户session中抽样] （没有周末效应），然后人为进行进一步筛选
3.选择抽样方式
我们常用的抽样方式是简单随机抽样
简单随机抽样：从总体N个单位中任意抽取n个单位作为样本，是每个可能的样本被抽中的概率相等
4.选择抽样数量
从统计角度来讲，抽样数量越高统计准确率越好，然而调研成也会随之上升。所以数量是精准度和成本的balance，通常只要代表某类问题的样本数量有统计意义即可
样本选取多少合适？
经验值：尽量使代表某问题的样本数量≥5 或者 影响面≥3%（影响面：badcase占比），我们认为这个统计意义够了
案例：策略相对成熟，没有影响面＞5%的问题，接下来要看影响面1%-5%的问题：
为了使1%问题的case数量至少要达到5，那抽样数量最少要500,。或者在1k的量级、即代表单个问题的case在至少为10个左右，此时得到的问题影响面数据才有较高的置信度。
5.样本分析标注
用户反馈收集中提到过标注工作的方法论，与之类似通过抽样维度之外的行为辅助判断用户是否得到满足
6.整理汇总问题 - 合理的逻辑框架
上下层级：总分关系
同层级之间：相互排斥，不重叠、不遗漏
（麦肯锡金字塔原理）
汇总举例举栗子 说明下什么是合理的逻辑框架
爱奇艺，视频详情页的 [相关视频]的推荐策略的问题分析
标注后我们发现问题：
没有收录相关资源
可以增加同导演维度推荐
同系列的推荐个数过多，其他维度没有排上来，没能做系列外的视频导流
我们需要一个分析框架把这些问题放进来：
结果维度分析除了以上的维度，还可以直接将问题抽象，第一层分为两类 数据问题（视频资源覆盖度、每个视频标签的丰富程度准确程度）、 第二类是排序问题（标签怎么使用、权重、限制条件等）
问题的框架并不是唯一，只要逻辑合理就可以：
标注前有 [初版预设]
标注中不断调整，直到完善
