目标检测算法的评估指标：mAP定义及计算方式

2019-11-11 本文已影响0人 LabVIEW_Python

前面依次介绍了：

本节介绍目标检测算法的评估指标：mAP定义及计算方式

mAP：mean Average Precision，平均精度均值，即AP(Average Precision)的平均值，它是目标检测算法的主要评估指标。目标检测模型通常会用速度和精度(mAP)指标描述优劣，mAP值越高，表明该目标检测模型在给定的数据集上的检测效果越好。在Tensorflow detection model zoo中，各目检检测模型的对比表如下图所示

目检检测模型表

既然mAP是AP(Average Precision)的平均值，那么首先要了解AP的定义和计算方法。要了解AP的定义，首先需要区别什么是精(Precision)，什么是准(Accuracy）?

精(Precision) 与准(accuracy)

Precision指精度，意味着随机误差(Random Error)小，即方差(Variance)小，描述了实际值的扰动情况。

Accuracy指准度，意味着系统误差(System Error)小，即偏差(Bias) 小，描述了的实际值与真实结果的偏离程度

准确度高，意味着误差(Error)小，Error = Bias + Variance

在机器学习中，可以将预测分为四种情况

True Positive(TP)：正实际为正实际为正，预测对了

False Negative(FN): 预测为负实际为正，预测错了

False Positive(FP): 预测为负实际为正，预测错了

True Negative(TN): 预测为负实际为负，预测对了

confusion matrix

例如，有60个正样本，40个负样本，系统预测了50个正样本，其中40个是预测正确的正样本；预测了50个负样本，其中30个是预测正确的负样本。TP=40，FP=10；FN=20，TN=30。

定义：

可得上例中：

Precision（精确度） = 40/(40+10)=80%

Recall（召回率） = 40/(40+20)=66.7%;

Accuracy（准确度） = (40+30)/(40+10+30+20) = 70%

F1 Score = 2*40/(2*40+10+20) = 72.7%

由此可见：

Precision是预测为正实际为正占预测为正的比例，Precision可以视作是模型找出来的数据的正确能力，Precision=1表示模型找一个对一个，Presicion=0.5表示模型找出2个，能对1个。

Recall是预测为正实际为正占总体正样本的比例，Recall可以视作是模型在数据集中，检测出目标类型数据的能力，即是否把想找出来的都找出来了，Recall=1表示已经把想找出来的数据全部找出来了。

Accuracy是预测为正实际为正和预测为负实际负占总样本的比例。

F1 Score是Precision与Recall的调和平均(harmonic mean)，是综合Precision与Recall的评估指标，避免Precision或Recall的单一极大值，用于综合反映整体的指标。

一图以蔽之

https://en.wikipedia.org/wiki/F1_score

对于目标检测（Object Detection）算法来说，Precision 和 Recall与上述的定义略有不同。

Precision 和 Recall在目标检测中的定义

Precision与Recall曲线：把每次预测结果的Precision和Recall计算出来，并按照关系画出曲线，就是P-R曲线。

P-R曲线

把所有样本预测为正，则Recall=1，表示模型把所有该识别的样本都识别出来了，但此时Precision很差。由此可见，优化模式的检测能力，本质是Precision和Recall的Tradeoff的过程。

F1 Score是Precision与Recall的调和平均(harmonic mean)，表征模型的综合能力，避免Precision或Recall的单一极大值。Precision很大、Recall很小；或Precision很小，Recall很大，都不是好的检测能力，如下图所示。

recall/precision/f1范例

了解了什么是precison-recall-f1后，还需要了解目标检测中的两个基本概念：Confidence Score和IoU。

Confidence Score 置信度分数是一个分类器(Classifier)预测一个锚框(Anchor Box)中包含某个对象的概率(Probability)。通过设置Confidence Threshold置信度阈值可以过滤掉(不显示)小于threshold的预测对象。锚框的详细解释请参见《深度学习目标检测算法中的锚框(Anchor Box)是什么？》

IoU (Intersection over union)交并比，预测框(Prediction)与原标记框(Ground truth)之间的重叠度(Overlap)，最理想情况是完全重叠，即比值为1。IoU用于衡量预测框的准确度。

IoU交并比

一般来说，IoU≥ 0.5 就可以被认为一个不错的结果了。

IoU表征检测结果好坏

Confidence Score和IoU共同决定一个检测结果(detection)是Ture Positive还是False Positive，伪代码如下：

决定一个detection是否为TP或FP

在目标检测算法中，当一个检测结果(detection)被认为是True Positive时，需要同时满足下面三个条件：

1，Confidence Score > Confidence Threshold

2，预测类别匹配(match)真实值(Ground truth)的类别

3，预测边界框(Bounding box)的IoU大于设定阈值，如0.5

不满足条件2或条件3，则认为是False Positive。

当对应同一个真值有多个预测结果时(In case multiple predictions correspond to the same ground-truth)，只有最高置信度分数的预测结果被认为是True Positive，其余被认为是False Positive。

改变不同的置信度阈值，可以获得多对Precision和Recall值，Recall值放X轴，Precision值放Y轴，可以画出一个Precision-Recall曲线，简称P-R曲线。

Precision-Recall曲线

如上图所示，当Threshold单调下降的时候，recall是单调上升的；而Precision总体趋势是下降的，局部趋势可能上升，也可能下降，走的所谓“zigzag”形状。

改变IoU的阈值，绘制recall和IoU关系曲线。当IoU≥0.5，检测结果才被认为是True Positive，所以绘制曲线的时候，IoU取值 0.5≤IoU≤1.0。

Recall-IoU曲线

从Recall-IoU曲线可以看出，Recall跟IoU是单调递减关系，即IoU增加，Recall减少。

了解Confidence Score、IoU、Precision-Recall曲线以及Recall-IoU曲线后，下面本文将介绍目标检测的关键性能评估指标：AP(Average Precision），mAP(mean Average Precision)

Precision-Recall曲线可以衡量目标检测模型的好坏，但不便于模型和模型之间比较。在Precision-Recall曲线基础上，通过计算每一个recall值对应的Precision值的平均值，可以获得一个数值形式(numerical metric)的评估指标：AP(Average Precision），用于衡量的是训练出来的模型在感兴趣的类别上的检测能力的好坏。

在计算AP前，为了平滑P-R曲线，减少曲线抖动的影响，首先对P-R曲线进行插值(interpolation)。给定某个recall值r，用于插值的P_interp为下一个recall值r’，与当前r值之间的最大的Precision值。