混淆矩阵
简介
混淆矩阵是衡量分类模型准确度中最基本、直观，计算最简单的方法。混淆矩阵就是一张表，展示预测值各类归对、归错的个数。下面放个小例子。
小例子
上面的小例子是分类问题中最简单的二分类，只需要判断结果是0还是1，或者说是negative还是positive。
表中已经给出四种结果，这四种是混淆矩阵的四个基础指标：
- 真实值是Positive，模型认为是Positive的个数（True Positive = TP）
- 真实值是Positive，模型认为是Negative的个数（False Negative = FN），统计学上的Type I Error（去真）
- 真实值是Negative，模型认为是Positive的个数（False Positive = FP），统计学上的Type II Error（存伪）
- 真实值是Negative，模型认为是Negative的个数（True Negative = TN）
将这四个指标一起呈现在表格中，就能得到混淆矩阵（Confusion Matrix），如下图。
混淆矩阵
sklearn中混淆矩阵
sklearn.metrics.confusion_matrix(y_true, y_pred, labels=None, sample_weight=None)
函数功能：
计算混淆矩阵以评估分类器的准确性。
在混淆矩阵
中，
的含义是实际上是
类但被错误预测为
类的样本个数。
所以在二分类中，True Negative的个数是
，False Negative的个数是
，True Positive的个数是
，False Positive的个数是
。
参数
-
y_true : array, shape = [n_samples]
实际目标结果，真实值
-
y_pred : array, shape = [n_samples]
分类器返回的预测值
-
labels : array, shape = [n_classes], optional
矩阵索引的标签列表。这可用于重新排序或选择标签的子集。如果没有给值，那么在y_true或y_pred中至少出现一次的那些值按排序顺序使用。
-
sample_weight : array-like of shape = [n_samples], optional
样本权重
返回值
-
C : array, shape = [n_classes, n_classes]
混淆矩阵
示例
>>> y_true = [2, 0, 2, 2, 0, 1]
>>> y_pred = [0, 0, 2, 2, 0, 2]
>>> confusion_matrix(y_true, y_pred)
array([[2, 0, 0],
[0, 0, 1],
[1, 0, 2]])
>>> y_true = ["cat", "ant", "cat", "cat", "ant", "bird"]
>>> y_pred = ["ant", "ant", "cat", "cat", "ant", "cat"]
>>> confusion_matrix(y_true, y_pred, labels = ['bird','ant','cat'])
array([[0, 0, 1],
[0, 2, 0],
[0, 1, 2]])
在二分类问题中，我们可以提取True Positive等值，如下所示。
>>> tn, fp, fn, tp = confusion_matrix([0, 1, 0, 1], [1, 1, 1, 0]).ravel()
>>> (tn, fp, fn, tp)
(0, 2, 1, 1)
衍生指标
- 准确率（Accuracy）——针对整个模型
- 精确率（Precision）
- 灵敏度（Sensitivity）——召回率（Recall）
- 特异度（Specificity）
其中，Precision和Recall可以看下面的具体例子。
四种指标的公式和含义见下表。
| 公式 | 含义 | |
|---|---|---|
| 准确率ACC | 所有预测正确的结果占总观测值的比例 | |
| 精确率PPV | 所有判断为Positive的结果中，分类正确的比例 | |
| 灵敏度TPR | 在所有真实值为Positive的结果中，分类正确的比例 | |
| 特异度TNR | 在所有真实值为Negative的结果中，分类正确的比例 |
其中，将Precision 和 Recall组合计算可以得到一个称为F1 score 的指标，如果召回和精确度都很高，分类器将获得高F 1分数。
代码示例
>>> from sklearn.metrics import precision_score, recall_score, f1_score
>>> y_true = [0, 0, 1, 0, 1, 0]
>>> y_pred = [0, 1, 0, 1, 1, 0]
>>> precision_score(y_true, y_pred)
0.3333333333333333
>>> recall_score(y_true, y_pred)
0.5
>>> f1_score(y_true, y_pred)
0.4
都看到最后了，要不~点个赞？加波关注？
