使用 sklearn 进行房价预测（机器学习）

2017-11-04 本文已影响0人哎吆喂轩

目标

通过已有数据探测并预测房屋价格。

实现方案

借助 sklearn 库构建回归模型预测房价。

开发环境

Jupyter Notebook，官网地址：http://ipython.org/notebook.html 具体安装使用教程参见：http://blog.csdn.net/red_stone1/article/details/72858962
具体代码见：python note

步骤

利用 sklearn 库构建线性回归模型探测人口占比与房价的关系（计算出参数：斜率和截距）；
构建多元回归模型，借助交叉验证法评估此模型的拟合性（分别计算出在训练集和测试集上的均方误差和r2评分值）；
构建多项式回归模型探测平均房间数与房价的关系。在此过程中分别构建了线性模型、二次模型以及三次模型，分别计算这三种模型下的R2评分值来评估此模型的拟合性；

代码实现

说明：项目中使用的数据集 house_data 是已经提供好的，具体下载地址见：http://pan.baidu.com/s/1o7Hb5v8

探索房屋数据集

import pandas as pd 
# 读取房屋数据集
df = pd.read_csv("house_data.csv")
# 通过 head 方法查看数据集的前几行数据
df.head()

结果如下图所示

数据表头

查看数据集中制定维度间的相关性

import matplotlib.pyplot as plt
import seaborn as sns

# 设置内容，使得图在 jupyter notebook 中显示出来
sns.set(context = 'notebook')

#设置维度：LSTAT(人口百分比), AGE(房屋年限), DIS(与市中心的距离), CRIM(犯罪率)，MEDV(房价), TAX(税), RM(平均房间数)
cols = ['LSTAT','AGE','DIS','CRIM','MEDV','TAX','RM']
# 画图：后台显示
sns.pairplot(df[cols],size=2.5)
# 在前台展示图片：两两维度j间的相关性
plt.show()

维度相关性结果如下图所示：

属性间相关性图

从图中得出的结论如下：

  1.对角线上的图分别代表个维度间的直方图；
  2.MEDV(房价)与RM(平均房间数)呈正相关；
  3.MEDV(房价)与LSTAT(人口占比)呈反相关。

使用 sklearn 构建线性回归模型探测MEDV(房价)与LSTAT(人口占比)的关系

# 引入线性回归模块
from sklearn.linear_model import LinearRegression
# 初始化模型
sk_model = LinearRegression()
# 训练模型，但是不需要对数据进行预处理
sk_model.fit(X, y)
# 打印斜率
print('Slope: %.3f'% sk_model.coef_[0])
# 打印截距
print('Inercept:%.3f'% sk_model.intercept_)
# 画出回归图
Regression_plot(X, y, sk_model)
# 设置x轴坐标标签
plt.xlabel('Percentage of the population')
# 设置y轴坐标标签
plt.ylabel('House Price')
plt.show()

展示结果如下

房价与人口比例间的关系图

从图中得出的结论：通过线性模型拟合房价与人口比例间的关系，计算出了在线性模型下的两参数：斜率和截距。

构建多元回归模型，利用交叉验证法评估此模型

# 引入 train_test_split 将训练集和测试集分开
from sklearn.cross_validation import train_test_split
# 制定维度
cols = ['LSTAT','AGE','DIS','CRIM','TAX','RM']
# 给自变量取值
X = df[cols].values
# 给因变量取值
y = df['MEDV'].values
# 将数据集中75%数据归为为训练集，25%归为测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.25, random_state = 0)
# 初始化回归模型
sk_model = LinearRegression()
# 训练模型
sk_model.fit(X_train, y_train)
# 计算X在训练集上的预测值
y_train_predict = sk_model.predict(X_train)
# 计算X在测试集上的预测值
y_test_predict = sk_model.predict(X_test)
# 画出在训练集上的预测值与(真实值和预测值)在测试集上的误差散点图
plt.scatter(y_train_predict, y_train_predict - y_train, c = 'red', marker = 'x', label = 'Trainning data')
# 画出在验证集上的预测值与(真实值和预测值)在验证集上的误差散点图
plt.scatter(y_test_predict, y_test_predict - y_test, c = 'black', marker = 'o', label = 'Test data')
# 将X轴的坐标标签设置为预测值
plt.xlabel('Predicted values')
# 将y轴的坐标标签设置为预测值
plt.ylabel('Residuals')
# 增加一个图例在左上角
plt.legend(loc = 'upper left')
# 画一条平行于x轴，y值为0的直线
plt.hlines(y=0,xmin=0,xmax=50,lw=1,color='green')
# 设置取值范围
plt.xlim([-10,50])
plt.show()

结果如下所示

多元回归图

从图中得出的结论如下：多元回归模型在测试集和验证集上的拟合性都比较好。

计算多元回归模型在预测集和验证集上的残差

# 第一种评估的标准：MSE(均方误差)
# #引入均方误差模块
from sklearn.metrics import mean_squared_error
# 输出均方误差
print('MSE train %.3f, test %.3f'%(mean_squared_error(y_train,y_train_predict),mean_squared_error(y_test,y_test_predict)))
#第二种评估标准：r2_score(r2评分)
# # 引入R2评分模块
from sklearn.metrics import r2_score
# 输出r2评分
print('R^2 train %.3f, test %.3f'%(r2_score(y_train,y_train_predict),r2_score(y_test,y_test_predict)))

MSE train 25.106, test 36.671
R^2 train 0.706, test 0.551

分析输出结果：
1.均方误差：验证集上的值大于训练集上的误差；
2.r2评分(r2评分值越接近于1说明拟合性越好)：训练集上的值接近于1，验证集上只有1的一半；
3.从1、2结论可以看出：此多元模型有些过拟合。

构建多项式回归模型来探测MEDV(房价)与RM(平均房价)的关系

# 给自变量(平均房间数)取值
X= df[['RM']].values
# 给因变量(房价)取值
y = df['MEDV'].values
#初始化线性回归模型
Regression_model = LinearRegression()
# 引入多项式特征库（目的是对多项式进行多想变换）
from sklearn.preprocessing import PolynomialFeatures
#初始化二次变换
quadratic = PolynomialFeatures(degree = 2)
#初始化三次变换
cubic = PolynomialFeatures(degree = 3)
# 对X进行二次变换
X_squared = quadratic.fit_transform(X)
# 对y进行三次变换
X_cubic = cubic.fit_transform(X)
# 找出X上的所有点，并增加一维([:,np.newaxis])
X_fit = np.arange(X.min(), X.max(), 0.01)[:,np.newaxis]

# 训练线性回归模型
Linear_model = Regression_model.fit(X, y)
# 计算出X-fit这些点在线性直线上的y值
y_line_fit = Linear_model.predict(X_fit)
# 计算线性回归模型上的r2评分
linear_r2 = r2_score(y, Linear_model.predict(X))

#训练二次回归模型
Squared_model = Regression_model.fit(X_squared, y)
# 计算出X-fit这些点在二次曲线上的y值
y_quad_fit = Squared_model.predict(quadratic.fit_transform(X_fit))
# 计算二次回归模型上的r2评分
quadratic_r2 = r2_score(y,Squared_model.predict(X_squared))

# 训练三次回归模型
Cubic_model = Regression_model.fit(X_cubic, y)
# 计算出X-fit这些点在三次曲线上的y值
y_cubic_fit = Cubic_model.predict(cubic.fit_transform(X_fit))
# 计算三次回归模型上的r2评分
cubic_r2 = r2_score(y,Cubic_model.predict(X_cubic))

# 画出原始数据集的散点图
plt.scatter(X,y,label='Trainning point',color = 'lightgray')
# 画出线性回归图
plt.plot(X_fit, y_line_fit, label ='linear,$R^2=%.2f$' % linear_r2, color = 'blue',lw = 2, linestyle = ':')
# 画出二次回归图
plt.plot(X_fit, y_quad_fit, label ='quadratic,$R^2=%.2f$' % quadratic_r2, color = 'red',lw = 2, linestyle = '-')
# 画出三次回归图
plt.plot(X_fit, y_cubic_fit, label ='cubic,$R^2=%.2f$' % cubic_r2, color = 'green',lw = 2, linestyle = '--')
# 将X轴的标签设置为房间数
plt.xlabel('Room number')
# 将y轴的标签设置为房价
plt.ylabel('House price')
# 在图的左上角添加图例
plt.legend(loc = 'upper left')
plt.show()

结果如图所示

多项式回归图

从图中得出的结论：三次回归模型的r2评分更接近1，因此三次回归模型的拟合性是最好的。