什么是好的模型结果？（监督学习模型的衡量）

2018-06-01 本文已影响135人 esskeetit

连续变量的模型，如何来衡量模型结果？（回归）
二分类问题

假设检验，p-value
confusion matrix 混淆矩阵
召回率，准确率
F1-score
ROC & AUC

3.多分类模型如何衡量模型结果？
4.imbalanced问题

image.png

2. 连续变量的模型，如何来衡量模型结果？

image.png

误差：观测值和真值之间的差别
残差：预测值和观测值之间的差别

image.png

3. 二分类问题

假设检验

原假设，事件，事件的概率分布
p-value：在原假设成立时，出现观测值以及更极端情况的概率
备择假设
Threshold分类阈值
设立分类阈值的结果：第一类错误(假阳性)：弃真，第二类错误：存伪
定义阈值的分类效果：显著性水平α
α, β,1−β
ROC曲线以及其性质:
0.横纵坐标，1. 一般来说面积>0.5, 2. 斜率为正
什么样的ROC曲线更好？
ROC曲线历史
confusion matrix：弃真存伪
召回率，准确率
F1-score

我们这⾥不涉及任何具体的统计分布

image.png

α=false positive rate
β=false negative rate
power =1−β = true positive rate

ROC曲线(衡量分类效果)以及其性质:

0.横纵坐标横坐标：false positive 纵坐标：true positive

一般来说面积>0.5
斜率为正

3.位于45°线上方

image.png

计算F1 score

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
from sklearn.metrics import f1_score
y_true =  [0,0,0,0,1,0,0,0,0,1,1,1,1,0,0,0,1,1,1,0,0,0,0,0,0]
y_pred =  [0,0,0,0,1,1,0,0,0,0,0,1,0,1,1,0,0,1,1,0,0,0,1,0,1]
f1_score(y_true,y_pred)

from sklearn.metrics import precision_score, recall_score, accuracy_score
from sklearn.metrics import
precision_score(y_true, y_pred)
recall_score(y_true,y_pred)

y_true =  [0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,1,1,0,0,0,0,0,0]
y_pred =  [0,0,0,0,0,0,0,0,0,0,0,0,1,1,0,0,0,0,1,0,1,1,1,0,0]
from sklearn.metrics import f1_score,accuracy_score,precision_score,recall_score
accu=accuracy_score(y_true,y_pred)    #分类准确率
prec = precision_score(y_true,y_pred) #准确度
reca = recall_score(y_true,y_pred)  #召回率
F1_score = f1_score(y_true,y_pred)

练习计算与画ROC

生成原始数据
使用模型进行分类
用ROC进行效果衡量

from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.cross_validation import train_test_split

X,y = make_classification(n_samples=10000,n_features=10,n_classes=2,n_informative=5) #特征，标签
X_train,X_test, y_train,y_test = train_test_split(X,y, test_size=0.2,random_state=0)
clf = LogisticRegression()
clf.fit(X_train,y_train)

from sklearn.metrics import roc_auc_score,roc_curve
preds = clf.predict_proba(X_test)[:,1]
fpr,tpr,_=roc_curve(y_test,preds)

df = pd.DataFrame(dict(fpr=fpr,tpr=tpr))
roc_auc= roc_auc_score(y_test,preds)
plt.figure(figsize=[9,8])
lw = 2
    
plt.plot(fpr, tpr, color='orange',
         lw=lw, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver operating characteristic Line')
plt.legend(loc="lower right")
plt.show()

4. 多分类模型，如何衡量模型结果？

直观上不容易像连续变量一样定义每个预测值离观测值的距离(欧几里得距离）
多分类时，多用cross-entropy 来衡量分类的结果

image.png

信息熵的特点：
- 衡量混乱程度，信息熵越大，越混乱

5. imbalanced问题

imbalance data就是指正负样本数量相差太大，一类占10%甚至1%以下，另外一类占绝大多数，这对机器学习算法是个现实的挑战。
用什么样的衡量方式？不能光看accuracy
1000个样本，大多数（980）都属于负样本，正样本只有20个，算法容易被负样本带偏。
传统方法（决策树，逻辑回归）倾向于预测样本量大的类别，小样本就被认为是噪音，被忽略了

如何应对imbalanced datasets?

使用合适的衡量方式
- F1
重新采样(resampling)
- random under-sampling
  - 原有分布：负样本980，正样本20
  - under-sampling后：负样本98,正样本20
  - 优点：
    - 提升运算效率，减少运算时间
  - 缺点：
    - 有可能丢失重要的信息
    - 对总体的估计可能是有偏差的
- random over-sampling
  - 原有分布：负样本980，正样本20
  - over-sampling后：负样本980，正样本500
  - 优点：
    - 保留了所有有用信息
  - 缺点：
    - 有可能overfiting，过拟合
- 基于cluster 的重新采样（先用聚类方法找出子类）
  - 原有分布：负样本3类：每类数量 200，400，380，正样本两类：每类数量 13，7
  - 重新采样后：负样本3类：数量 300，300，300，正样本两类：每类数量 150，150
  - 优点：
    - 既解决不同类的样本不均等，又解决同类中子类间的样本不均等
  - 缺点：
    - 有可能过拟合
- 合成数据 <span style="color:blue">SMOTE</span>
  - 原有分布：负样本980，正样本20
  - 合成数据后后：负样本980，正样本500 （非重复采样，而是生成正样本数据））
    <img src='./smote.png',width=500>
  - 优点：
    - 保留负样本所有信息
    - 减缓过拟合
  - 缺点：
    - SMOTE生成的数据可能引入更多的噪音
    - 对高维的数据效果不好
集成算法

什么是好的模型结果？（监督学习模型的衡量）

2. 连续变量的模型，如何来衡量模型结果？

3. 二分类问题

练习计算与画ROC

4. 多分类模型，如何衡量模型结果？

5. imbalanced问题

如何应对imbalanced datasets?

猜你喜欢

热点阅读