谈谈查准率(Precision)和查全率(Recall)

2018-07-15 本文已影响0人 cogear

书接上文：

之前为什么说自己浮躁？因为连最基本的机器学习模型性能评估最基本的的查全率和查准率都搞不清楚，还妄想搞机器学习。
今天，就来解决这个基础问题。

通俗的理解

在二分问题的情况下（非对即错，非0即1）：
查准率（Precision）就是你认为是对的样例中，到底有多少真是对的。
查全率（Recall）就是所有对的样例，你找出了多少，或者说你判断对了多少。

公式

总之，下面这个矩阵：

真实情况↓模型预测→	True	False
True	TP	FN
False	FP	TN

囊括了所有样例
其中，查准率Precision：
$Precision=\frac{TP}{(TP+FP)}$
查全率：
$Precision=\frac{TP}{(TP+FN)}$

简单总结

一般来说，查全查准不可兼得，除非在一些简单任务中。
很好理解，做出正预测多，查全率必然上升，但查准率就要下降。
反之，尽量少预测，查准率必然高，但是查全率要低很多。

F1度量

F1度量是基于查准率和查全率的调和平均（harmonic mean）定义的：
$\frac{1}{F1}=\frac{1}{2}\cdot (\frac{1}{P}+\frac{1}{R})$
$F1=\frac{2\times P\times R}{P+R}=\frac{2\times TP}{2\times TP+FP+FN}$
相比于算术平均和几何平均，调和平均更注重较小值。

$F_\beta$ 度量

$F_\beta$ 是加权调和平均，是F1度量的一般形式：
$\frac{1}{F_\beta}=\frac{1}{1+\beta^2}\cdot (\frac{1}{P}+\frac{\beta^2}{R})$
这个等有空再更新解释。