深度学习知识点汇总-机器学习基础（13）

2.13 模型评估常用指标有哪些？

一般情况来说，单一评分标准无法完全评估一个机器学习模型。只用good和bad偏离真实场景去评估某个模型，都是一种欠妥的评估方式。下面介绍常用的分类模型和回归模型评估方法。

分类模型常用评估方法：

指标	描述
Accuracy	准确率
Precision	精准度/查准率
Recall	召回率/查全率
P-R曲线	查准率为纵轴，查全率为横轴，作图
F1	F1值
Confusion Matrix	混淆矩阵
ROC	ROC曲线
AUC	ROC曲线下的面积

回归模型常用评估方法：

指标	描述
Mean Square Error (MSE, RMSE)	平均方差
Absolute Error (MAE, RAE)	绝对误差
R-Squared	R平方值

这里详细解释下误差、噪声、偏差和方差

在机器学习中，Bias(偏差)，Noise(噪声)，Error(误差)，和Variance(方差)存在以下区别和联系：

**对于误差Error **：

• 误差（error）：把学习器的实际预测输出与样本的真实输出之间的差异称为“误差”。
• Error = Bias + Variance + Noise，Error反映的是整个模型的准确度。

对于噪声Noise:

• 噪声：描述了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。

对于偏差Bias：

• 偏差：衡量模型拟合训练数据的能力（训练数据不一定是整个 training dataset，而是只用于训练它的那一部分数据，例如：mini-batch），Bias反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精准度。（可用于指导模型训练）
• Bias 越小，拟合能力越高（可能产生过拟合）；反之，拟合能力越低（可能产生欠拟合）。
• 偏差越大，越偏离真实数据，如图1第二行所示。

对于方差Variance：

• 方差公式：
  
• 方差：是预测值的变化范围，离散程度，也就是离其期望值的距离。
  方差越大，数据的分布越分散，模型的稳定程度越差。
• 方差反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。
• 方差越小，模型的泛化的能力越高；反之，模型的泛化的能力越低。
• 如果模型在训练集上拟合效果比较优秀，但是在测试集上拟合效果比较差劣，则方差较大，说明模型的稳定程度较差，出现这种现象可能是由于模型对训练集过拟合造成的。 如图1右列所示。

图1 方差和偏差

最后简要介绍下经验误差与泛化误差：

• 经验误差（empirical error）：也叫训练误差（training error），模型在训练集上的误差。
• 泛化误差（generalization error）：模型在新样本集（测试集）上的误差称为“泛化误差”。