摘要

上一篇，提到了互联网公司的内容审查业务慢慢从幕后被大家了解。我们用“数据驱动”的“三环四步法”，对审查业务进行了全面深刻的重新思考，达到了如下效果：

30人用一双“天眼”做到，365天7*24小时保证，用户每发布100w条内容中的10000条有害内容，4小时内清除其中9100条。

本篇将会着重讲解如下三个问题

• 用什么指标量化内容审查业务的现状
• 内容审核系统的基本构成
• 唯一关键指标和指标体系

一、内容审查业务的现状如何衡量

使用“三环四步法”在面对百分问题时，最重要的就是找到能够量化现状的数据指标，有了它，我们不但知道了自己的起点、目标，在尝试解决问题后，还能有效评估效果。
内容审查的业务目标是保证网站安全，实现手段是删除站内有害内容，那么漏删了多少有害内容就是直观评价，综上所述

“漏删量”，即有害内容的总体漏删量，是评价审查业务现状的唯一关键指标（下称唯关指标）。

有人说了这个道理很简单，还用你说么？确实很简单，但是如何计算出这个唯关指标？如何通过构建指标体系、明确子指标、实现目标拆解？如何找到方案优化各项子指标，最终提升唯关指标？这才是关键，这些问题第三小节会给出解答。
不过，构建指标体系前，我们得先讲下“天眼”系统的基本构成。

二、内容审核系统的基本构成

上一篇留了个悬念，正常的审核人员一天的极限是1w，可是我们怎么做到每人每天审核3.3w的呢？答案就是机器审核辅助。如下流程图所示：

天眼内容审核系统构成

一条帖子，首先由机器审核（后称机审），没有嫌疑的直接放过，有嫌疑的进入人工审核；人工审核（后称人审）就是审核员根据审核标准，进行删除或放过操作。

地铁旅客安检

就像地铁安检一样，先通过机器门自动扫描，有嫌疑的人会发出提示再人工安检，人工安检大部分都是放过，但是也有确实有问题的随身物品，需要拒绝。

三、唯一关键指标和指标体系（前方高能，请注意！）

1、什么是召回率？
召回率又称查全率，通用的解释，召回率＝检索出的相关信息量 / 系统中的相关信息总量。放到审核系统中，就是 实际删除的有害内容量 / 发布内容中的有害内容总量。这个指标越高，说明有害内容消除得越干净。

2、“天眼”的指标体系
刚才说了，唯关指标是“漏删量”。

• 计算公式
  漏删量
  = 发布量S - 发布量S * 召回率R
  = 发布量S * （1 - 召回率R）
  = 发布量S * （1 - 机审召回率RJ * 人审召回率RR）
• 四大指标
  漏删量、召回率、机审召回率、人审召回率

• 指标关联

  
  天眼指标体系
  

  我们为了降低“漏删量”指标，就要提升“召回率”；要提高它，就需要分别提高“机审召回率”和“人审召回率”。

3、如何收集各项指标？
明确了系统的四大关键指标及其内部关系，明眼人就能看出来，其实最关键的是拿到机审召回率 RJ，和人审召回率 RR。

• 机审召回率 RJ
  机审判定有害中实际有害内容量 / 全部内容中实际有害内容的总量，可问题是，我们不可能知道分母是多少，因为那需要我们把用户发布的帖子全部审核一遍，这显然不现实。这时就要发挥“随机抽样”的魅力了，我们随机抽取一部分有害内容，然后看看其中被机审命中了多少，就可以了。
  我们上哪里随机抽取有害内容呢？
  第一，用户举报的作用就发挥出来了，我们把其中被查实的违规内容作为抽取样本，这里面既有机审判定有害的，也有机审放过的。
  第二，可以让审核员在app上随机巡查找到有害内容，补充到抽样样本里。
• 人审召回率 RR
  人审判定有害内容量 / 机审判定有害中实际有害内容量，跟上面的工作量问题和解决办法类似，“随机抽样”登场，即在机审判定有害的内容中找到实际有害内容，然后再看看一审时有多少比例被判定为有害。
• 召回率 R
  机审召回率 RJ * 人审召回率 RR
• 漏删量
  发布量 S * （1 - 召回率 R）

好了，指标到位。下一篇开始我们就开始演示，如何用数据指标驱动业务问题解决和产品设计。