评价指标

2021-04-03  本文已影响0人  HelloSam

1、IOU

分割或者目标检测预测prediction,可以分成4个部分:
1、true negative(TN)把区域A,预测为是背景,并且确实是背景
2、false negative(FN)画出了一块区域B,预测是背景,但是实际上是标签
3、false positive(FP)画出一块区域C,预测是标签,其实是背景
4、true positive(TP)画出一块区域D,预测是标签,确实是标签
在评价的时候常用的指标有:IOU(交并比,也有叫做IU的),像素准确率(pixel-accuracy),有的时候还有平均准确率(mean-accuracy)

总结一下:看最后一个字母是N就是预测是背景,那么真实的标签是不是背景呢?看第一个字母,是T就是,预测的是背景,确实是背景;是F,就说明,预测是背景,其实是标签;再来,看第二个字母是P,说明预测是标签,是不是呢?看第一个字母,是T,预测的标签,事实确实就是标签,是F,预测是标签,事实上是背景。

然后
IOU=\frac{真实标签和预测的交集}{真实标签和预测的并集}=\frac{TP}{TP+FP+FN}
再通俗地说就是
IOU=\frac{预测是标签确实是标签的部分}{分子+预测是标签但是其实是背景+预测的背景但是其实是标签}


不好意思,上面的图画错了,T和P的颜色和对应关系画反了,应该是:
这个图

解释一下我画的图:
nIOU是预测是标签真实确实是标签的所有像素 / (你预测的部分的像素 + 真实标签的像素 - 分子)
nIOU=\frac{TP[i]}{T[i]+P[i]-TP[i]}

2、混淆矩阵

https://zhuanlan.zhihu.com/p/360765777

混淆矩阵是一个总结分类器所得结果的矩阵,一般为k行k列(k为分类的类别数)。以二分类为例,混淆矩阵如下图所示。


通过设定一个阈值如0.6,概率大于等于0.6的为标签,小于0.6的为背景。对应的就可以算出一组(FPR,TPR),在平面中得到对应坐标点。随着阈值的逐渐减小越来越多的实例(比如像素)被划分为标签,但是这些标签中同样也掺杂着真正的背景,即TPR和FPR会同时增大。阈值最大时,对应坐标点为(0,0),阈值最小时,对应坐标点(1,1)。

3、ROC曲线

ROC曲线是Receiver Operating Characteristic Curve的简称,中文名是受试者工作特征曲线
如何画ROC曲线:

(1)首先,ROC曲线的横坐标是假阳性率FPR,纵坐标是真阳性率TPR。
(2)其次,明确计算ROC的时候,预测值y_pred一般都是[0, 1]的小数(代表预测为正样本的概率),真实值y_true为0或1。如果计算FPR和TPR,我们就需要知道预测的正负样本情况,但给的预测值是小数,如何划分预测的正负样本呢?答案是选取截断点(阈值)。
(3)截断点是指区分正负预测结果的阈值。比如截断点=0.1,那就表示y_pred<0.1的为预测为负样本,y_pred>=0.1预测正样本。所以绘制ROC曲线需要不断移动“截断点”(调整阈值)来得到所有的(FPR,TPR)点,然后把这些点用线段连起来就是ROC曲线了。

计算ROC
详细过程见我写的word文档。
上一篇 下一篇

猜你喜欢

热点阅读