DS 面试之 Metric Questions

image.png

内容参考自How to crack product metric questions in PM interviews

---

1. 介绍

Metric Questions 是数据科学家面试的一种题型。一开始 Google, FB, Amazon 的数据科学面试中会经常会使用， 逐渐的， 其他公司也会在数据科学家面试中加入这部分内容。目前， 已经是此类职位面试的一个主要组成部分。 它考察面试者是否能够抓住主要业务指标的能力， 同时对于应试者的批判性思维和沟通技巧也是一个很好的检验。

记住：
正确不重要， 重要的是得到答案的路径。 作为数据科学家，一定要展示出 Data Driven 的思考方式。

Metric Questions 有两种类型

• Metric Definition： 这类问题需要受试者为某个业务找到一个关键指标， 比如如何衡量一个产品活跃度。 给出关于指标的逻辑必须严谨。

• Metric Change: 当某项关键指标发生了变动， 如何去分析， 解读， 找到root cause ？

2. 如何回答此类问题？

回答此类问题最忌讳没有条理， 东一榔头西一棒，想到啥说啥， 这回让面试官质疑你的思考能力。这里给出回答此类问题的套路。

2.1 Metric Definition 类型

先说套路： GAME 方法

• Goal
• Action
• Metrics
• Evalutions

例： 应该用什么 Metirc 来衡量Facebook 的 Newsfeed 服务？
Facebook 的 Newsfeed 资料

Goal

首先，要和面试官确定，他最关心的目标是什么？ 收入，用户参与度， 公司美誉度， 还是其他什么? 只有确定了目标，才能往下进行。 在这一步， 最好让面试官确定一个单一目标。

Action
这里指的是用户的行为（Action）。 比如对于 Newsfeed 服务， 用户的行为可能包括： 查看，发布，评论， 点赞， 分享等等。 在列出这些 Action 以后， 选择几个和 Goal 最相关的 Action 重点关注。 你可以说， “有很多用户行为会影响到目标， 但是我觉得这三个是最重要的: 发帖， 转发， 点赞。”

Metrics
一旦选定了 Action， 那么接下啦， 就是要找到一种可以精确衡量方法了。 假设，你选择了评论和转发， 那么有以下一些 Metric 可以更精确的衡量他们：

• Comment

  • 每1000 次会话 Comment 数
  • 每1000 个被看完帖子 Comment 数
  • 每1000 个被点开的帖子 Comment 数

• 分享

  • 每1000 次会话 share 数
  • 每1000 个被看完帖子 share 数
  • 每1000 个被点开的帖子 share 数

Evalutions
最后， 把你选择的Metric 用到Goal 上， 讨论一下这些 Metric 与 Gold 的关系。 可以讨论一下其中的一些取舍和限制（trade-offs and limitations）。

对于 Newsfeed 问题可以说 “因此， 为了提高用户参与度，我会选择每千次回话的转发和评论数量用来衡量用户的参与度”

最后， 记得讨论一下你的方法的优缺点。比如：
“当然， 不是说有的评论都是正面的， 也会有负面的评论。 为了能够区分它们， 我们可能需要情感分析。 另外 评论和转发 只能用户衡量深度用户参与， 对于浅层次的参与， 可以用点每日赞和阅读量来衡量。”

2.2 Metric Change 类型

例： Newsfeed 用户参与度降低了 10%， 你将如何把此事报告给 CEO。

套路：

• 定义变化
• 探索 root-causes
• 得出结论

定义变化
这是面试者很容易忽略的一个环节。这一步，通常要确定以下一些问题：

• 将要讨论的 Metric 的精确定义 是什么？
• 衡量的时间段是什么？
• 变化影响到的用户有什么

对于本节的例子， 我们可以问： “用户参与度是如何定义的？ 下降 10% 是在多长的时间段内 发生呢? 是所有用户的参与度下降 10%， 还是某一部分的用户参与度下降 10%？ ”

也许，面试官会回答 " 所有 用户回话 发生了下降，下降发生在昨天。" 只有明确了这个目标，才能更好的去找到 root-causes。

探索 root-causes
这一步非常关键， 面试官希望你能够展现出全面分析问题的能力， 同时， 还能够进行有效的交流。 为了达到这个目的，你应该：

• 为可能的 RootCause 创建一个 MECE Framework （Mutually Exclusive and Collectively Exhaustive）
• 在此 Framework 中，进行一个头脑风暴
• 和面试官讨论不同的 root-cause

对于上述提到的例子， 可以从内部因素 和 外部因素 两方面考虑。 这两个因素，构成了这个问题的 Framewrok。 基于此， 可以进行头脑风暴沿着这两个方向考虑：

内部因素

• Metric 数据是否准确 （也许由于统计Bug，计算方法修改， 新的统计方法上线等）
• NewsFeed 产品出问题了 （新版本， 有人改了某些设置）
• 产品质量下降（NewsFeed 的内容变得糟糕了）

外部因素

• 用户习惯 （某些习惯会一夜改变， 比如突发事件造成的用户抵制）
• 竞争对手 (竞争对手发布了新版本)

面试官可能会打断你， 然后开始聊一些你提到的 Root Cause ， 这是很好的现象。 一般他们会给你提示， 将你进入一个他们想要的方向。

得出结论
结合一开始的问题， 展开讨论。

假设， 最后讨论的结果是因为一个突发事件导致的抵制行为。 那么你可以说 “我会想CEO 汇报， 昨天用户参与度下降的原因是一个突发事件造成了用户抵制的行为。 其他原因都无法解释这个现象， 另外我们也在时间上对这个原因进行了分析， 用户参与度下降和突发事件的时间吻合的非常好。 ”

3 案例： YouTube 流量下降 5%， 如果报告此事给管理层？

定义Metric

首先要明确 流量 的定义，以下是一些很容易想到的问题， 这些问题可以帮你弄清细节：

• 流量的定义是什么？网站访问量， 视频播放量， 还是视频播放时间？
• 是对所有用户都有影响么？ 还是只对部分用户有影响？ 按国家，设备， 浏览器 区分？
• 事情是什么时候发生的？

探索 Root - Cause

假设我们探讨的是每个会话的观看时间下降， 那么我们可以在 内部， 和外部因素的框架下寻找原因。

内部因素

• 数据准确性（验证数据有没有bug）
• 上下文（也许是季节性，周期性的）
• 产品可达性 （是不是某个地方发生了大面积停电， 网络瘫痪）
• 产品变化（新版本发布？可能发布了包含某个bug 的版本）
• 产品质量 （新的视频内容可能不好）

外部因素

• 用户习惯 （整体上用户不喜欢看视频了， 比如切换到短视频，去看 TikTok 了）
• Referrers （FB 把导入到 YouTube 的流量截留了）
• 竞争对手
• Society （社会有重大变动 unrest）

总结

更加分析以后， 得出的结论是新版本的UI导致了回话时间发生了 5% 的下降（月度环比）。 你可以这么说 “根据刚才我们所讨论的， 我会把这个月度的下降归因于移动端的 UI 修改。 由于 全屏按钮小了， 用户容易不小心按错按钮， 然后退出视频。 而且 投放到其他设备按钮也有类似问题。 二者共同影响了用户的收看时间。 接下来， 我们可以联系当时的需求团体， 了解为什么会做出这种修改， 看看是不是能把这个修改取消， 使用其他途径来达到原先的目的。”

4. 面试问题集锦

以下是从 Glassdoor.com 上找到的， Facebook, Google, Amazon, Microsoft, and LinkedIn 的相关问题， 大家可以拿他们来练手

Metric definition questions

• 你使用什么指标来衡量产品的成功发布？
• 假设你是Facebook Newsfeed的PM，你将如何衡量保留率？
• 你将使用什么指标来衡量Facebook的“保存项目”功能的成功程度？
• 如何确定Facebook Newsfeed中的帖子排名？
• 告诉我， 作为Instagram广告产品经理时你会看什么指标
• 如何衡量新版YouTube播放器用户界面是否成功？
• 如何分析我们是否应该提高Amazon Prime会员的价格？
• 如何确定辱骂帖子的负面价值？
• Netflix每天应该衡量和分析哪些内容？
• 如何衡量苹果WWDC活动的成功？

Metric change questions

• 用户不再注册我们的电子邮件列表-你会怎么做？
• Facebook群组的使用率下降了15％-如何解决？
• 你刚刚对西班牙的一个电子商务站点进行了本地化，现在看到流量减少了-这可能是什么原因？
• 一夜之间，Facebook Event“是的，我要去”的使用率下降了30％-你应该查看哪些数据来尝试找出问题所在？
• 正在查看YouTube在全球范围内的“每日活跃用户”数据，并发现与昨天相比，印度尼西亚的收入比昨天增加了10％，发生了什么？
• 是Facebook 3rd Party Login的PM，并且看到你的人数每星期下降2％，发生了什么？
• Reddit流量下降了5％-将如何向执行团队报告此问题？

5 如何练习 ？

掌握套路

自古深情留不住，唯有套路得人心。

本来列举了一些回答此类问题的套路，一定要记下来， 然后反复演练， 活学活用。

找个同伴，互相练习

找个同伴， 你们轮流当 面试者和面试官， 这有助于你锻炼临场能力。 不至于一到真的面试就发蒙。

找个有经验的人

最好是在职的数据科学， 这样可以给你带来实战的感觉。