如何选择模型的复杂度？

选择最佳模型的复杂度有两个评分标准

（1）MSE均方误差（是指参数估计值与参数真值之差平方的期望值，白话点不写那么多公式了）越小越好，MSE的值越小，说明预测模型描述实验数据具有更好的精确度

（2）R2 精确度 （越接近1越好）

为了理解这两个概念，我们选择一个老掉牙的案例来说明：房价预测（原文参照：http://www.jianshu.com/p/63010976b7b9）

1、导入收集好的数据

import pandas as pd

# 读取房屋数据集

df = pd.read_csv("house_data.csv")

# 通过 head 方法查看数据集的前几行数据

df.head()

数据预览

为了查看各数据与房价的关系，进行量量维度展开

import matplotlib.pyplot as plt

import seaborn as sns

# 设置内容，使得图在 jupyter notebook 中显示出来

sns.set(context ='notebook')

#设置维度：LSTAT(人口百分比), AGE(房屋年限), DIS(与市中心的距离), CRIM(犯罪率)，MEDV(房价), TAX(税), RM(平均房间数)

cols = ['LSTAT','AGE','DIS','CRIM','MEDV','TAX','RM']

# 在前台展示图片：两两维度j间的相关性

plt.show()

各属性之间的关系

通过上图可以看出：

1.对角线上的图分别代表个维度间的直方图；

2.MEDV(房价)与RM(平均房间数)呈正相关；

3.MEDV(房价)与LSTAT(人口占比)呈反相关。

使用 sklearn 构建线性回归模型探测MEDV(房价)与LSTAT(人口占比)的关系：

# 引入线性回归模块

from sklearn.linear_model import LinearRegression

# 初始化模型

sk_model = LinearRegression()

# 训练模型，但是不需要对数据进行预处理

sk_model.fit(X, y)

# 打印斜率

print('Slope: %.3f'% sk_model.coef_[0])

# 打印截距

print('Inercept:%.3f'% sk_model.intercept_)

# 画出回归图

Regression_plot(X, y, sk_model)

# 设置x轴坐标标签

plt.xlabel('Percentage of the population')

# 设置y轴坐标标签

plt.ylabel('House Price')plt.show()

售价与人口比例

构建多元回归模型，利用交叉验证法评估此模型

from sklearn.cross_validation import train_test_split

# 制定维度

cols = ['LSTAT','AGE','DIS','CRIM','TAX','RM']

# 给自变量取值

X = df[cols].values

# 给因变量取值

y = df['MEDV'].values

# 将数据集中75%数据归为为训练集，25%归为测试集

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size =0.25, random_state =0)

# 初始化回归模型

sk_model = LinearRegression()

# 训练模型

sk_model.fit(X_train, y_train)

# 计算X在训练集上的预测值

y_train_predict = sk_model.predict(X_train)

# 计算X在测试集上的预测值

y_test_predict = sk_model.predict(X_test)

# 画出在训练集上的预测值与(真实值和预测值)在测试集上的误差散点图

plt.scatter(y_train_predict, y_train_predict - y_train, c ='red', marker ='x', label ='Trainning data')

# 画出在验证集上的预测值与(真实值和预测值)在验证集上的误差散点图

plt.scatter(y_test_predict, y_test_predict - y_test, c ='black', marker ='o', label ='Test data')

#将X轴的坐标标签设置为预测值plt.xlabel('Predicted values')

# 将y轴的坐标标签设置为预测值

plt.ylabel('Residuals')

# 增加一个图例在左上角

plt.legend(loc ='upper left')#

画一条平行于x轴，y值为0的直线

plt.hlines(y=0,xmin=0,xmax=50,lw=1,color='green')

# 设置取值范围plt.xlim([-10,50])plt.show()

误差散点图

通过MSE 和 R2评估模型复杂度

# 第一种评估的标准：MSE(均方误差)

#引入均方误差模块

froms klearn.metrics import mean_squared_error

# 输出均方误差

print('MSE train %.3f, test %.3f'%(mean_squared_error(y_train,y_train_predict),mean_squared_error(y_test,y_test_predict)))

#第二种评估标准：r2_score(r2评分)

#  引入R2评分模块

from sklearn.metrics import r2_score

# 输出r2评分

print('R^2 train %.3f, test %.3f'%(r2_score(y_train,y_train_predict),r2_score(y_test,y_test_predict)))

MSE train 25.106, test 36.671

R^2 train 0.706, test 0.551

构建多项式回归模型来探测MEDV(房价)与RM(平均房价)的关系

# 给自变量(平均房间数)取值（为啥是二维数组？还没理解）

X= df[['RM']].values

# 给因变量(房价)取值

y = df['MEDV'].values

#初始化线性回归模型

Regression_model = LinearRegression()

# 引入多项式特征库（目的是对多项式进行多项变换）

from sklearn.preprocessing import PolynomialFeatures

#初始化二次变换

quadratic = PolynomialFeatures(degree =2)

#初始化三次变换

cubic = PolynomialFeatures(degree =3)

# 对X进行二次变换

X_squared = quadratic.fit_transform(X)

# 对y进行三次变换

X_cubic = cubic.fit_transform(X)

# 找出X上的所有点，并增加一维

([:,np.newaxis])X_fit = np.arange(X.min(), X.max(),0.01)[:,np.newaxis]

# 训练线性回归模型

Linear_model = Regression_model.fit(X, y)

# 计算出X-fit这些点在线性直线上的y值

y_line_fit = Linear_model.predict(X_fit)

# 计算线性回归模型上的r2评分

linear_r2 = r2_score(y, Linear_model.predict(X))

#训练二次回归模型

Squared_model = Regression_model.fit(X_squared, y)

# 计算出X-fit这些点在二次曲线上的y值

y_quad_fit = Squared_model.predict(quadratic.fit_transform(X_fit))

# 计算二次回归模型上的r2评分

quadratic_r2 = r2_score(y,Squared_model.predict(X_squared))

# 训练三次回归模型

Cubic_model = Regression_model.fit(X_cubic, y)

# 计算出X-fit这些点在三次曲线上的y值

y_cubic_fit = Cubic_model.predict(cubic.fit_transform(X_fit))

# 计算三次回归模型上的r2评分

cubic_r2 = r2_score(y,Cubic_model.predict(X_cubic))

# 画出原始数据集的散点图

plt.scatter(X,y,label='Trainning point',color ='lightgray')

# 画出线性回归图

plt.plot(X_fit, y_line_fit, label ='linear,$R^2=%.2f$'% linear_r2, color ='blue',lw =2, linestyle =':')

# 画出二次回归图

plt.plot(X_fit, y_quad_fit, label ='quadratic,$R^2=%.2f$'% quadratic_r2, color ='red',lw =2, linestyle ='-')

# 画出三次回归图

plt.plot(X_fit, y_cubic_fit, label ='cubic,$R^2=%.2f$'% cubic_r2, color ='green',lw =2, linestyle ='--')

# 将X轴的标签设置为房间数

plt.xlabel('Room number')

# 将y轴的标签设置为房价

plt.ylabel('House price')

# 在图的左上角添加图例

plt.legend(loc ='upper left')plt.show()

单一、多项线性回归图

从2次方提高到3次方R2系数值提高了1个点，因此2次回归模型的复杂度最好，这也是提高模型精确度度的一种方式