数据挖掘&机器学习Mathpython

Python 机器学习系列之线性回归篇深度详细

2016-11-14  本文已影响21946人  wyrover

本次推文介绍用线性模型处理回归问题。 从简单问题开始,先处理一个响应变量和一个解释变量的一元问题。 然后,介绍多元线性回归问题(multiple linear regression),线性约束由多个解释变量构成。 紧接着,介绍多项式回归分析(polynomial regression 问题),一种具有非线性关系的多元线性回归问题。 最后,介绍如果训练模型获取目标函数最小化的参数值。 在研究一个大数据集问题之前,先从一个小问题开始学习建立模型和学习算法

一元线性回归

假设你想计算匹萨的价格。 虽然看看菜单就知道了,不过也可以用机器学习方法建一个线性回归模型,通过分析匹萨的直径与价格的数据的线性关系,来预测任意直径匹萨的价格。 先用 scikitlearn 写出回归模型,然后介绍模型的用法,以及将模型应用到具体问题中。 假设我们查到了部分匹萨的直径与价格的数据,这就构成了训练数据,如下表所示:


【Python机器学习】系列之线性回归篇【深度详细】

可以用 matplotlib 画出图形:


【Python机器学习】系列之线性回归篇【深度详细】
【Python机器学习】系列之线性回归篇【深度详细】
上图中,'x'轴表示匹萨直径,'y'轴表示匹萨价格。 能够看出,匹萨价格与其直径正相关,这与我们的日常经验也比较吻合,自然是越大越贵。 下面就用 scikit-learn 来构建模
【Python机器学习】系列之线性回归篇【深度详细】

预测一张 12 英寸匹萨价格:$13.68

一元线性回归假设解释变量和响应变量之间存在线性关系、、这个线性模型所构成的空间是一个超平面(hyperplane)。 超平面是 n 维欧氏空间中余维度、于一的线性子空间,如平面中的直线、空间中的平面、,总比包含它的空间少一维。 在一元线性回归中,一个维度是响应变量,另一个维度是解释变量,总共两维。 因此,其超平面只有一维,就是一条线

上述代码中 sklearn.linear_model.LinearRegression 类是一个估计器(estimator)。 估计 器依据观测值来预测结果。 在 scikit-learn 里面,所有的估计器都带有 fit() 和 predict() 方法。 fit() 用来分析模型参数,predict() 是通过 fit() 算出的模型参数构成的模型,对解释变量进行预测获得的值。 因为所有的估计器都有这两种方法,所有 scikit-learn 很容易实验不同的模型。 LinearRegression 类的 fit() 方法学习下面的一元线性回归模型:


【Python机器学习】系列之线性回归篇【深度详细】

y 表示响应变量的预测值,本例指匹萨价格预测值, 是解释变量,本例指匹萨直径。 截距和相关系数 是线性回归模型最关心的事情. 下图中的直线就是匹萨直径与价格的线性关系。 用这个模型,可以计算不同直径的价格,8 英寸 $7.33,20 英寸 $18.75


【Python机器学习】系列之线性回归篇【深度详细】
【Python机器学习】系列之线性回归篇【深度详细】
一元线性回归拟合模型的参数估计常用方法是普通最小二乘法(ordinary least squares )或线性最小二乘法(linear least squares)。 首先,我们定义出拟合成本函数,然后对参数进行数理统计

带成本函数的模型拟合评估

**** 下图是由若干参数生成的回归直线。 如何判断哪一条直线才是最佳拟合呢?


【Python机器学习】系列之线性回归篇【深度详细】
【Python机器学习】系列之线性回归篇【深度详细】

成本函数(cost function)也叫损失函数(loss function),用来定义模型与观测值的误差。 模型预测的价格与训练集数据的差异称为残差(residuals)或训练误差(training errors)。 后面会用模型计算测试集,那时模型预测的价格与测试集数据的差异称为预测误差(prediction errors)或训练误差(test errors)

模型的残差是训练样本点与线性回归模型的纵向距离,如下图所示:


【Python机器学习】系列之线性回归篇【深度详细】
【Python机器学习】系列之线性回归篇【深度详细】

我们可以通过残差之和最小化实现最佳拟合,也就是说模型预测的值与训练集的数据最接近就是最佳拟合。 对模型的拟合度进行评估的函数称为残差平方和(residual sum of squares)成本函数。 就是让所有训练数据与模型的残差的平方之和最小化,如下所示:


【Python机器学习】系列之线性回归篇【深度详细】
其中, 是观测值, 是预测值。 残差平方和计算如下:
【Python机器学习】系列之线性回归篇【深度详细】

解一元线性回归的最小二乘法

通过成本函数最小化获得参数,先求相关系数贝塔。 按照频率论的观点,首先需要计算 x 的方差和 x 与 y 的协方差

方差是用来衡量样本分散程度的。 如果样本全部相、、,那么方差为 0。 方差越小,表示样本越集中,反正则样本越分散。 方差计算公式如下:


【Python机器学习】系列之线性回归篇【深度详细】
【Python机器学习】系列之线性回归篇【深度详细】

Numpy 里面有 var 方法可以直接计算方差,ddof 参数是贝塞尔 (无偏估计) 校正系数(Bessel'scorrection),设置为 1,可得样本方差无偏估计量


【Python机器学习】系列之线性回归篇【深度详细】

协方差表示两个变量的总体的变化趋势。 如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值,另外一个也大于自身的期望值,那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反,即其中一个大于自身的期望值,另外一个却小于自身的期望值,那么两个变量之间的协方差就是负值。 如果两个变量不相关,则协方差为 0,变量线性无关不表示一定没有其他相关
性。 协方差公式如下:


【Python机器学习】系列之线性回归篇【深度详细】
【Python机器学习】系列之线性回归篇【深度详细】

现在有了方差和协方差,就可以计算相关系统贝塔了


【Python机器学习】系列之线性回归篇【深度详细】
算出贝塔后,就可以计算阿尔法了:
【Python机器学习】系列之线性回归篇【深度详细】
将前面的数据带入公式就可以求出阿尔法了:

α = 12.9 − 0.9762931034482758 × 11.2 = 1.9655172413793114
这样就通过最小化成本函数求出模型参数了。 把匹萨直径带入方程就可以求出对应的价格了,如 11 英寸直径价格 $12.70,18 英寸直径价格 $19.54

模型评估

前面用学习算法对训练集进行估计,得出了模型的参数。 如何评价模型在现实中的表现呢?现在假设有另一组数据,作为测试集进行评估

【Python机器学习】系列之线性回归篇【深度详细】
有些度量方法可以用来评估预测效果,我们用 R 方(r-squared)评估匹萨价格预测的效果。 R 方也叫确定系数(coefficient of determination),表示模型对现实数据拟合的程度。 计算 R 方的方法有几种。 一元线性回归中 R 方、、于皮尔逊积矩相关系数(Pearson product moment correlation coefficient 或 Pearson's r)的平方
这种方法计算的 R 方一定介于 0~1 之间的正数。 其他计算方法,包括 scikit-learn 中的方法,不是用皮尔逊积矩相关系数的平方计算的,因此当模型拟合效果很差的时候 R 方会是负值。 下面用 scikitlearn 方法来计算 R 方
【Python机器学习】系列之线性回归篇【深度详细】
=56.8
然后,计算残差平方和,和前面的一样:
【Python机器学习】系列之线性回归篇【深度详细】
最后用下面的公式计算 R 方:
【Python机器学习】系列之线性回归篇【深度详细】

R 方是 0.6620 说明测试集里面过半数的价格都可以通过模型解释。 现在,用 scikit-learn 来验证一下。 LinearRegression 的 score 方法可以计算 R 方:


【Python机器学习】系列之线性回归篇【深度详细】

多元线性回归

可以看出匹萨价格预测的模型 R 方值并不显著。 如何改进呢?
匹萨的价格其实还会受到其他因素的影响。 比如,匹萨的价格还与上面的辅料有关。 让我们再为模型增加一个解释变量。 用一元线性回归已经无法解决了,我们可以用更具一般性的模型来表示,即多元线性回归


【Python机器学习】系列之线性回归篇【深度详细】

写成矩阵形式如下:


【Python机器学习】系列之线性回归篇【深度详细】
一元线性回归可以写成如下形式:
【Python机器学习】系列之线性回归篇【深度详细】
其中,Y 是训练集的响应变量列向量,贝塔是模型参数列向量。 X 称为设计矩阵,是 m*n 维训练集的解释变量矩阵。 m 是训练集样本数量,n 是解释变量个数。 增加辅料的匹萨价格预测模型训练集如下表所示: 【Python机器学习】系列之线性回归篇【深度详细】

同时要升级测试集数据:


【Python机器学习】系列之线性回归篇【深度详细】

学习算法评估三个参数的值:两个相关因子和一个截距。 的求解方法可以通过矩阵运算来实现


【Python机器学习】系列之线性回归篇【深度详细】
矩阵没有除法运算,所以用矩阵的转置运算和逆运算来实现:
【Python机器学习】系列之线性回归篇【深度详细】
通过 Numpy 的矩阵操作就可以完成:
【Python机器学习】系列之线性回归篇【深度详细】

[[1.1875][1.01041667][0.39583333]]

有了参数,就来更新价格预测模型:


【Python机器学习】系列之线性回归篇【深度详细】

Predicted: [10.06250019], Target: [11]Predicted: [10.28125019], Target: [8.5]Predicted: [13.09375019], Target: [15]Predicted: [18.14583353], Target: [18]Predicted: [13.31250019], Target: [11]R-squared: 0.77

增加解释变量让模型拟合效果更好了。 为什么只用一个测试集评估一个模型的效果是不准确的,如何通过将测试集数据分块的方法来测试,让模型的测试效果更可靠。 不过现在至少可以认为,匹萨价格预测问题,多元回归确实比一元回归效果更好。 假如解释变量和响应变量的关系不是线性的呢?下面来研究一个特别的多元线性回归的情况,可以用来构建非线性关系模型

**多项式回归**********

下面用多项式回归,一种特殊的多元线性回归方法,增加了指数项( 的次数大于 1)。 现实世界中的曲线关系全都是通过增加多项式实现的,其实现方式和多元线性回归类似。 本例还用一个解释变量,匹萨直径。 用下面的数据对两种模型做个比较:


【Python机器学习】系列之线性回归篇【深度详细】

二次回归(Quadratic Regression),即回归方程有个二次项,公式如下:


【Python机器学习】系列之线性回归篇【深度详细】
只用一个解释变量,但是模型有三项,通过第三项(二次项)来实现曲线关系。 PolynomialFeatures 转换器可以用来解决这个问题。 代码如下:
【Python机器学习】系列之线性回归篇【深度详细】
【Python机器学习】系列之线性回归篇【深度详细】

[[6], [8], [10], [14], [18]][[1 6 36][1 8 64][1 10 100][1 14 196][1 18 324]][[6], [8], [11], [16]][[1 6 36][1 8 64][1 11 121][1 16 256]]一元线性回归 r-squared 0.809726832467
二次回归 r-squared 0.867544458591

效果如上图所示,直线为一元线性回归(R 方 0.81),曲线为二次回归(R 方 0.87),其拟合效果更佳。 还有三次回归,就是再增加一个立方项(β3x3 )。 同样方法拟合,效果如下图所示:


【Python机器学习】系列之线性回归篇【深度详细】
【Python机器学习】系列之线性回归篇【深度详细】

[[1 6 36 216][1 8 64 512][1 10 100 1000][1 14 196 2744][1 18 324 5832]][[1 6 36 216][1 8 64 512][1 11 121 1331][1 16 256 4096]]二次回归 r-squared 0.867544458591三次回归 r-squared 0.835692454062

七次回归,效果如下图所示:


【Python机器学习】系列之线性回归篇【深度详细】
【Python机器学习】系列之线性回归篇【深度详细】

二次回归 r-squared 0.867544458591
七次回归 r-squared 0.487942421984

可以看出,七次拟合的 R 方值更低,虽然其图形基本经过了所有的点。 可以认为这是拟合过度(overfitting)的情况。 这种模型并没有从输入和输出中推导出一般的规律,而是记忆训练集的结果,这样在测试集的测试效果就不好了

正则化

正则化(Regularization)是用来防止拟合过度的一堆方法。 正则化向模型中增加信息,经常是一种对抗复杂性的手段。 与奥卡姆剃刀原理(Occam's razor)所说的具有最少假设的论点是最好的观点类似。 正则化就是用最简单的模型解释数据

scikit-learn 提供了一些方法来使线性回归模型正则化。 其中之一是岭回归 (Ridge Regression,RR,也叫 Tikhonov regularization),通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法。 岭回归增加 L2 范数项(相关系数向量平方和的平方根)来调整成本函数(残差平方和):


【Python机器学习】系列之线性回归篇【深度详细】

scikit-learn 也提供了最小收缩和选择算子 (Least absolute shrinkage and selection operator,LASSO),增加 L1 范数项(相关系数向量平方和的平方根)来调整成本函数(残差平方和):


【Python机器学习】系列之线性回归篇【深度详细】
LASSO 方法会产生稀疏参数,大多数相关系数会变成 0,模型只会保留一小部分特征。 而岭回归还是会保留大多数尽可能小的相关系数。 当两个变量相关时,LASSO 方法会让其中一个变量的相关系数会变成 0,而岭回归是将两个系数同时缩小
scikit-learn 还提供了弹性网(elastic net)正则化方法,通过线性组合 L1 和 L2 兼具 LASSO 和岭回归的内容。 可以认为这两种方法是弹性网正则化的特例

梯度下降法拟合模型

前面的内容全都是通过最小化成本函数来计算参数的:


【Python机器学习】系列之线性回归篇【深度详细】

这里 X 是解释变量矩阵,当变量很多(上万个)的时候, 右边第一项计算量会非常大。 另外,如果右边第一项行列式为 0,即奇异矩阵,那么就无法求逆矩阵了。 这里我们介绍另一种参数估计的方法,梯度下降法(gradient descent)。 拟合的目标并没有变,我们还是用成本函数最小化来进行参数估计

梯度下降法被比喻成一种方法,一个人蒙着眼睛去找从山坡到溪谷最深处的路。 他看不到地形图,所以只能沿着最陡峭的方向一步一步往前走。 每一步的大小与地势陡峭的程度成正比。 如果地势很陡 峭,他就走一大步,因为他相信他仍在高出,还没有错过溪谷的最低点。 如果地势比较平坦,他就走一小步。 这时如果再走大步,可能会与最低点失之交臂。 如果真那样,他就需要改变方向,重新朝着溪谷的最低点前进。 他就这样一步一步的走啊走,直到有一个点走不动了,因为路是平的了,于是他卸下眼罩,已经到了谷底深处,小龙女在、、他

通常,梯度下降算法是用来评估函数的局部最小值的。 我们前面用的成本函数如下:


【Python机器学习】系列之线性回归篇【深度详细】

可以用梯度下降法来找出成本函数最小的模型参数值。 梯度下降法会在每一步走完后,计算对应位置的导数,然后沿着梯度(变化最快的方向)相反的方向前进。 总是垂直于、、高线

需要注意的是,梯度下降法来找出成本函数的局部最小值。 一个三维凸(convex)函数所有点构成的图行像一个碗。 碗底就是唯一局部最小值。 非凸函数可能有若干个局部最小值,也就是说整个图形看着像是有多个波峰和波谷。 梯度下降法只能保证找到的是局部最小值,并非全局最小值。 残差平方和构成的成本函数是凸函数,所以梯度下降法可以找到全局最小值

梯度下降法的一个重要超参数是步长(learning rate),用来控制蒙眼人步子的大小,就是下降幅度。 如果步长足够小,那么成本函数每次迭代都会缩小,直到梯度下降法找到了最优参数为止。 但是,步长缩小的过程中,计算的时间就会不断增加。 如果步长太大,这个人可能会重复越过谷底,也就是梯度下降法可能在最优值附近摇摆不定

如果按照每次迭代后用于更新模型参数的训练样本数量划分,有两种梯度下降法。 批量梯度下降(Batch gradient descent)每次迭代都用所有训练样本。 随机梯度下降(Stochastic gradientdescent,SGD)每次迭代都用一个训练样本,这个训练样本是随机选择的。 当训练样本较多的时候,随机梯度下降法比批量梯度下降法更快找到最优参数。 批量梯度下降法一个训练集只能产生一个结果。 而 SGD 每次运行都会产生不同的结果。 SGD 也可能找不到最小值,因为升级权重的时候只用一个训练样本。 它的近似值通常足够接近最小值,尤其是处理残差平方和这类凸函数的时候

下面用 scikit-learn 的 SGDRegressor 类来计算模型参数。 它可以通过优化不同的成本函数来拟合线性模型,默认成本函数为残差平方和。 本例中,我们用波士顿住房数据的 13 个解释变量来预测房屋价格:


【Python机器学习】系列之线性回归篇【深度详细】

交叉验证 R 方值: [0.64102297 0.65659839 0.80237287 0.67294193 0.57322387]交叉验证 R 方均值: 0.669232006274测试集 R 方值: 0.787333341357

总结

本次推文介绍了三类线性回归模型。 首先,通过匹萨价格预测的例子介绍了一元线性回归,一个解释变量和一个响应变量的线性拟合。 然后,讨论了多元线性回归,具有更一般形式的若干解释变量和一个响应变量的问题。 最后,讨论了多项式回归,一种特殊的多元线性模型,体系了解释变量和响应变量的非线性特征

上一篇下一篇

猜你喜欢

热点阅读