1--发现问题（用户反馈、系统监控、效果反馈、阶段性调研）

1.1--用户反馈

1.1：收集，整理，归类用户意见 

（1：不是问题，已知问题，未知问题2：具体状况（无法支付，订单消失，....））

1.2--系统监控

1.2.1 制定正相关和负相关的指标 ，

1.2.2 监控频率

1.2.3 监控规则：每小时波动在XX% 则短信  在XX%以上电话

1.2.4 覆盖率（成功案例  ：  所有测试案例）

1.3--效果反馈

1.3.1：确定调研想要达到什么目的

1.3.2：确定抽样对象

1.3.3：抽样方式：简单随机

1.3.4：数量：符合统计学意义，（）

1.3.5：样本分析（分类，打标签）

1.3.6：汇总问题（结构化思考）

1.4-- 阶段性调研

策略四要素

样本标注：参考用户调研（对问题进行分类）

第三章

1--撰写策略需求文档

1.1（需求概述）

1.2需求详述(1-触发条件，2- 考虑因素，3-示列)

2--策略的评估的四个主心骨

2.1 召回率 (策略算出并且正确样本   :   在被人工验证正确的样本) 

2.2 准确率(策略算出并且正确样本+无法识别 的样本 ： 策略算出的样本  ) 

2.3  diff    影响面

2.4  g.s.b

3--效果回归

3.1启动前

3.1.1：找到目标

3.1.2：建立指标体系：用哪些数据指标来衡量（1：核心指标是什么  2：过程指标，整个流程中有哪些指标  3：谁是受害者）

3.2开发上线

3.2.1：指标满意：全流量

3.2.2：指标不是很满意：小流量上线

3.3.3：回归方法：实验同比上个时间周期，变化了XX%（1：注意抽样方式是否随机，2：可以先进行流量空跑--看看是否本身就有天然的变化）

3.3 上线后

3.3.1 :   收集指标，看是否达到预期

3.3.2：分析问题产出结论（符合：产品循环暂时终止，不符合：继续）