深度学习常用指标总结

2019-04-09 本文已影响0人 Yankee_13

一些表示方法：

1）True positives(TP):  被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数；
2）False positives(FP): 被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数；
3）False negatives(FN): 被错误地划分为负例的个数，即实际为正例但被分类器划分为负例的实例数；
4）True negatives(TN): 被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的实例数。

1.分类问题

1）正确率（accuracy）
正确率是我们最常见的评价指标，这个很容易理解，就是被分对的样本数除以所有的样本数，通常来说，正确率越高，分类器越好。 $Accuracy = （TP+TN）/(P+N)$
2）错误率（error rate)
错误率则与正确率相反，描述被分类器错分的比例，error rate = (FP+FN)/(P+N)，对某一个实例来说，分对与分错是互斥事件，所以accuracy =1 - error rate；
3）灵敏度（sensitive）
sensitive = TP/P，表示的是所有正例中被分对的比例，衡量了分类器对正例的识别能力；
4）特效度（specificity)
specificity = TN/N，表示的是所有负例中被分对的比例，衡量了分类器对负例的识别能力；
5）精度（precision）
精度是精确性的度量，表示被分为正例的示例中实际为正例的比例， $Precision=TP/（TP+FP）$
6）召回率（recall）
召回率是覆盖面的度量，度量有多个正例被分为正例,可以看到召回率与灵敏度是一样的。 $Recall=TP/(TP+FN)=TP/P=sensitive$
7）F-score
当想要同时衡量精度和召回率时，就需要引入一个新的标准，即F-score：
$F-score=(1+\beta)^2\frac{Precision \cdot Recall}{\beta^2 \cdot Precision+Recall }$
当β=1时，称为F1-score。（同理，β=2时，称为F2-score）
这时，精确率和召回率都很重要，权重相同。当有些情况下，我们认为精确率更重要些，那就调整β的值小于1，如果我们认为召回率更重要些，那就调整β的值大于1。

2.分割问题

1)mAP
2)mIOU

3.ROC曲线和AUC值

ROC曲线的横坐标为false positive rate（FPR），纵坐标为true positive rate（TPR），其中，FPR,TPR分别为：
$FPR=\frac{FP}{N}$
$TPR=\frac{TP}{P}$
对于二分类模型，输出的是一个（0-1）间的概率而不是直接输出0，1值，我们通常需要制定某一阈值threshold来使得输出分类到0和1，由于不同threshold的制定，会使得FPR,TPR发生相应的变化，这是绘制ROC曲线的依据。

AUC值就是ROC曲线下包围的面积

1）AUC值可以作为模型的直接优化目标来进行优化

2）AUC和ROC曲线的优势

我们知道，测试时，更改正负样本的比例，会改变P,R的值，而ROC,AUC受其的影响就比较小。
下图（a）,(b)为正常正负样本比例下的ROC曲线和Precision-Recall曲线，（c）,(d)是不平衡正负样本比例下的ROC曲线和Precision-Recall曲线。