机器学习系列（二十三）——过拟合overfitting和欠拟合u

过拟合和欠拟合

有了多项式回归的方式，我们就可以对非线性的数据做拟合了，不过，复杂度不够的多项式回归会导致欠拟合问题，而过度地使用多项式回归又会导致过拟合问题。
接下来直观地看一下什么是过拟合和欠拟合，生成模拟数据集：

import numpy as np
import matplotlib.pyplot as plt
x = np.random.uniform(-3,3,size=100)
X = x.reshape(-1,1)
y = 0.5 * x**2 +x +2 +np.random.normal(0,1,size=100)
plt.scatter(x,y)
plt.show()

数据集

用线性回归对该数据做训练：

'''线性回归'''
from sklearn.linear_model import LinearRegression
lin_reg = LinearRegression()
lin_reg.fit(X,y)
lin_reg.score(X,y)  //out:0.49

用线性回归对该数据训练后的R方值为0.49，显然线性关系不明显，因此用线性回归是有很大误差的。不过添加多项式特征后，特征毕竟变多了，用R方衡量来衡量不同特征的模型不太直观，改用均方误差衡量：

from sklearn.metrics import mean_squared_error

y_predict = lin_reg.predict(X)
mean_squared_error(y,y_predict) 

线性回归均方误差

线性回归的均方误差为3.03，再看一下二次多项式回归：

from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

def PolynomialRegression(degree):
    '''传入步骤对应的类组成多项式回归函数'''
    return Pipeline([
        ("poly",PolynomialFeatures(degree=degree)),
        ("std_scaler",StandardScaler()),
        ("lin_reg",LinearRegression())
    ])
poly2_reg = PolynomialRegression(degree=2)
poly2_reg.fit(X,y)
y2_predict = poly2_reg.predict(X)
mean_squared_error(y,y2_predict) 

二次多项式回归均方误差

二次多项式回归的均方误差要减小很多，拟合的曲线如下图：

二次拟合

那更高次的呢？我们来试一试10次和100次。10次的情况：

'''修改degree测试'''
poly10_reg = PolynomialRegression(degree=10)
poly10_reg.fit(X,y)
y10_predict = poly10_reg.predict(X)
mean_squared_error(y,y10_predict)

10次回归均方误差

10次幂的均方误差相比2次又小了。拟合曲线如下图：

10次拟合曲线

100次的情况：

'''修改degree测试'''
poly100_reg = PolynomialRegression(degree=100)
poly100_reg.fit(X,y)
y100_predict = poly100_reg.predict(X)
mean_squared_error(y,y100_predict)

100次幂回归均方误差

可见均方误差更小了，拟合曲线如下图：

100次幂拟合曲线图

不过上面只是一个100次幂的曲线将所有样本特征点包括进去，实际上这条连续曲线是这样的：

plt.scatter(x,y)
plt.plot(X_plot,y_plot,color='r')#有序排序后绘制曲线
plt.axis([-3,3,-4,10])
plt.show()

100次幂曲线图

理论上我们提高多项式的次数可以任意精度拟合样本点，从而样本的均方误差可以非常非常小，但是样本误差更小就真的能更好地表达数据走势吗？从图像中看出显然不能，这种现象是就是过拟合（overfitting），而只用一次线性回归拟合的情况则是欠拟合。
机器学习主要解决的问题是过拟合，虽然过拟合的模型能使样本误差总体很小，但是在新的样本上表现却很差，泛化能力弱。而我们需要的是泛化能力强的模型而不是在样本上误差更小的模型。这也正是测试数据集的意义，将样本分为训练和测试数据集，只用训练数据fit模型，而用测试数据测试模型。如果模型能在测试数据集同样表现很好（有很小的误差），说明模型效果不错。可以测试，如果将样本划分为训练集和测试集，10次幂，100次幂的多项式回归虽然能使之在训练集上的误差更小，但是在测试集上误差却是越来越大的，这正是过拟合导致的。
线性模型

from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=666)
lin_reg = LinearRegression()
lin_reg.fit(X_train,y_train)
y_predict = lin_reg.predict(X_test)
mean_squared_error(y_test,y_predict)

线性模型测试集误差

二次模型

poly2_reg = PolynomialRegression(degree=2)
poly2_reg.fit(X_train,y_train)
y2_predict = poly2_reg.predict(X_test)
mean_squared_error(y_test,y2_predict)

二次模型测试集误差

10次模型和100次模型

10次模型测试集误差 100次模型测试集误差

从上述结果发现，在测试集上10次幂的误差已大于2次幂的，而100次幂的误差更是天文数字。综上所述，欠拟合是算法所训练的模型不能完整表述数据关系，而过拟合是算法训练的模型过多地表达了数据间的关系（往往是把噪音当成了特征，是噪音间的关系）。而我们需要寻找的是泛化能力最好的模型。

---

学习曲线

机器学习中有一个模型复杂度的概念，对于多项式回归，次幂越高则复杂度越高，对于knn算法来说，k值越小模型复杂度越高。相应地有模型复杂度曲线用于直观地反映模型复杂度和模型准确率的关系

模型复杂度曲线

不过模型复杂度曲线的绘制困难，这在后面的决策树再具体介绍。这里我们先用一个学习曲线来直观感受一下在多项式回归中，模型复杂度和训练效果的关系。
线性模型

import numpy as np
import matplotlib.pyplot as plt
x = np.random.uniform(-3,3,size=100)
X = x.reshape(-1,1)
y = 0.5 * x**2 +x +2 +np.random.normal(0,1,size=100)
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=10)#默认0.25
X_train.shape

封装学习曲线绘制函数：

'''封装学习曲线函数'''
def plot_learning_curve(algo,X_train,X_test,y_train,y_test):
    '''algo是模型'''
    train_score = []
    test_score = []
    l = len(X_train)+1
    for i in range(1,l):
        
        algo.fit(X_train[:i],y_train[:i])
        y_train_predict = algo.predict(X_train[:i])
        train_score.append(mean_squared_error(y_train[:i],y_train_predict))

        y_test_predict = algo.predict(X_test)
        test_score.append(mean_squared_error(y_test,y_test_predict))

    plt.plot([i for i in range(1,l)],np.sqrt(train_score),label='train')
    plt.plot([i for i in range(1,l)],np.sqrt(test_score),label='test')
    plt.legend()
    plt.axis([0,l,0,4])
    plt.show() 
plot_learning_curve(LinearRegression(),X_train,X_test,y_train,y_test)

绘制线性模型的学习曲线：

线性模型学习曲线

可以观察到随着训练的进行（这里是不断增加训练数据），训练集上的误差会慢慢积累，积累到一定程度稳定下来，测试集的误差先升后慢慢降低到一定程度稳定下来。
二次模型

二次多项式模型学习曲线

二次模型与线性模型趋势一样，不过稳定的位置较一次低而且在测试集上的曲线和训练集上的曲线距离小，因为2次确实是最优的模型。

20次幂模型

20次幂模型

测试集曲线和训练集曲线距离更大了，说明过拟合现象比较严重。我们要寻找的是有最好的泛化能力的模型。如何寻找最优的模型，使模型拥有优秀的泛化能力呢？这将在下篇介绍。