R语言学习（七）OLS回归
2019-01-31 本文已影响2人
邱俊辉
回归分析是统计学的核心，通指那些用一个或多个预测变量（自变量）来预测相应变量（因变量）的方法
OLS回归法又称普通最小二乘回归法，主要包括简单线性回归，多项式回归，多元线性回归
如果要了解更多OLS回归发的原理，可自行百度
这里主要学习如何在R上建立回归模型
用lm()拟合回归模型
在R中，拟合线性模型最基本的函数就是lm()，调用格式为：
lm(formula,data=)
其中formula是一个公式，data是数据框，包含了用于拟合模型的数据
表达式的形式如下：
Y~X1+X2+X3·····
Y是因变量，X1，X2，X3是自变量，公式的意思是用X1,X2,X3来预测Y的值
其中公式常用的符号有以下几个
- ~ 分割符号 左边为因变量，右边为自变量
- 加号 分割自变量
- ：表示预测变量的交互项，比如用x,z,x和z的交互项来预测y y~x+z+x:z
- ^ 表示交互项达到的次数 y(x+z+w)^展开为yx+z+w+x:z+x:w+z:w
- I() 从算术的角度来解释括号中的元素 yx+I((z+w)^2)展开为yx+h,其中h是一个由z和w的平方和创建的新变量
简单线性回归
当回归模型中只含有一个自变量和一个因变量时，成为简单线性回归
示例的数据来源于R语言内置数据集women，其中包含了15个年龄在30~39岁之间女性的身高和体重数据
我们这里想通过身高来预测体重
> women
height weight
1 58 115
2 59 117
3 60 120
4 61 123
5 62 126
6 63 129
7 64 132
8 65 135
9 66 139
10 67 142
11 68 146
12 69 150
13 70 154
14 71 159
15 72 164
> fit<-lm(weight~height,data = women)
> fit
Call:
lm(formula = weight ~ height, data = women)
Coefficients:#可以看出回归截距为-87.52，回归系数为3.45
(Intercept) height
-87.52 3.45
> summary(fit)#展示拟合模型的详细结果
Call:
lm(formula = weight ~ height, data = women)
Residuals:
Min 1Q Median 3Q Max
-1.7333 -1.1333 -0.3833 0.7417 3.1167
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) -87.51667 5.93694 -14.74 1.71e-09 ***
height 3.45000 0.09114 37.85 1.09e-14 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 1.525 on 13 degrees of freedom#残差标准误
Multiple R-squared: 0.991, Adjusted R-squared: 0.9903
F-statistic: 1433 on 1 and 13 DF, p-value: 1.091e-14
> fitted(fit)#显示预测值
1 2 3 4 5 6 7 8 9 10 11
112.5833 116.0333 119.4833 122.9333 126.3833 129.8333 133.2833 136.7333 140.1833 143.6333 147.0833
12 13 14 15
150.5333 153.9833 157.4333 160.8833
> residuals(fit)#显示残差，残差=预测值-实际值
1 2 3 4 5 6 7 8
2.41666667 0.96666667 0.51666667 0.06666667 -0.38333333 -0.83333333 -1.28333333 -1.73333333
9 10 11 12 13 14 15
-1.18333333 -1.63333333 -1.08333333 -0.53333333 0.01666667 1.56666667 3.11666667
> plot(women$height,women$weight)#绘图
> abline(fit)#添加拟合模型曲线
image.png
通过上述操作可以得到预测公式
weight=-87.52+3.45*height
多项式回归
上面的结果图表明可以添加一个二次项来得到一个弯曲的曲线来提高预测的精度
当只有一个自变量，但同时包含变量的幂（x2,x3）时,成为多项式回归
> fit<-lm(weight~height+I(height^2),data = women)
> fit
Call:
lm(formula = weight ~ height + I(height^2), data = women)
Coefficients:
(Intercept) height I(height^2)
261.87818 -7.34832 0.08306
> summary(fit)
Call:
lm(formula = weight ~ height + I(height^2), data = women)
Residuals:
Min 1Q Median 3Q Max
-0.50941 -0.29611 -0.00941 0.28615 0.59706
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 261.87818 25.19677 10.393 2.36e-07 ***
height -7.34832 0.77769 -9.449 6.58e-07 ***
I(height^2) 0.08306 0.00598 13.891 9.32e-09 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 0.3841 on 12 degrees of freedom
Multiple R-squared: 0.9995, Adjusted R-squared: 0.9994
F-statistic: 1.139e+04 on 2 and 12 DF, p-value: < 2.2e-16
> plot(women$height,women$weight)
> lines(women$height,fitted(fit))
image.png
可以看到新的拟合模型较旧拟合模型更加贴近实际值
因此可以得到预测公式为
weight=261.87818-7.34832height+0.083063height^2
多元线性回归
当预测变量（自变量）不止一个时，简单线性回归就变成了多元线性回归
以基础包中的state.x77数据集为例，探究犯罪率和其他因素的关系，包括人口，文盲率，收入，结霜天数
lm()函数需要输入数据框，因此我们要对原始数据集进行转化
> class(state.x77)
[1] "matrix"
> state<-as.data.frame(state.x77[,c("Murder","Population","Illiteracy","Income","Frost")])
> class(state)
[1] "data.frame"
> state
Murder Population Illiteracy Income Frost
Alabama 15.1 3615 2.1 3624 20
Alaska 11.3 365 1.5 6315 152
Arizona 7.8 2212 1.8 4530 15
Arkansas 10.1 2110 1.9 3378 65
California 10.3 21198 1.1 5114 20
Colorado 6.8 2541 0.7 4884 166
Connecticut 3.1 3100 1.1 5348 139
Delaware 6.2 579 0.9 4809 103
Florida 10.7 8277 1.3 4815 11
Georgia 13.9 4931 2.0 4091 60
Hawaii 6.2 868 1.9 4963 0
Idaho 5.3 813 0.6 4119 126
Illinois 10.3 11197 0.9 5107 127
Indiana 7.1 5313 0.7 4458 122
Iowa 2.3 2861 0.5 4628 140
Kansas 4.5 2280 0.6 4669 114
Kentucky 10.6 3387 1.6 3712 95
Louisiana 13.2 3806 2.8 3545 12
Maine 2.7 1058 0.7 3694 161
Maryland 8.5 4122 0.9 5299 101
Massachusetts 3.3 5814 1.1 4755 103
Michigan 11.1 9111 0.9 4751 125
Minnesota 2.3 3921 0.6 4675 160
Mississippi 12.5 2341 2.4 3098 50
Missouri 9.3 4767 0.8 4254 108
Montana 5.0 746 0.6 4347 155
Nebraska 2.9 1544 0.6 4508 139
Nevada 11.5 590 0.5 5149 188
New Hampshire 3.3 812 0.7 4281 174
New Jersey 5.2 7333 1.1 5237 115
New Mexico 9.7 1144 2.2 3601 120
New York 10.9 18076 1.4 4903 82
North Carolina 11.1 5441 1.8 3875 80
North Dakota 1.4 637 0.8 5087 186
Ohio 7.4 10735 0.8 4561 124
Oklahoma 6.4 2715 1.1 3983 82
Oregon 4.2 2284 0.6 4660 44
Pennsylvania 6.1 11860 1.0 4449 126
Rhode Island 2.4 931 1.3 4558 127
South Carolina 11.6 2816 2.3 3635 65
South Dakota 1.7 681 0.5 4167 172
Tennessee 11.0 4173 1.7 3821 70
Texas 12.2 12237 2.2 4188 35
Utah 4.5 1203 0.6 4022 137
Vermont 5.5 472 0.6 3907 168
Virginia 9.5 4981 1.4 4701 85
Washington 4.3 3559 0.6 4864 32
West Virginia 6.7 1799 1.4 3617 100
Wisconsin 3.0 4589 0.7 4468 149
Wyoming 6.9 376 0.6 4566 173
在多元回归分析中，最好先检查一下变量之间的相关性
> cor(state)
Murder Population Illiteracy Income Frost
Murder 1.0000000 0.3436428 0.7029752 -0.2300776 -0.5388834
Population 0.3436428 1.0000000 0.1076224 0.2082276 -0.3321525
Illiteracy 0.7029752 0.1076224 1.0000000 -0.4370752 -0.6719470
Income -0.2300776 0.2082276 -0.4370752 1.0000000 0.2262822
Frost -0.5388834 -0.3321525 -0.6719470 0.2262822 1.0000000
可以看出，谋杀率随着人口数量和文盲率的增加而增加，收入和结霜天数的增加而下降
car包中的scatterplotMatrix()函数会生成散点图矩阵，可以很容易的绘制二元关系图
> library(car)
载入需要的程辑包：carData
> scatterplotMatrix(state)
image.png
确定了相关性后，就可以使用lm()函数拟合多元线性回归模型
> fit<-lm(Murder~Population+Illiteracy+Income+Frost,data = state)
> fit
Call:
lm(formula = Murder ~ Population + Illiteracy + Income + Frost,
data = state)
Coefficients:
(Intercept) Population Illiteracy Income Frost
1.235e+00 2.237e-04 4.143e+00 6.442e-05 5.813e-04
> summary(fit)
Call:
lm(formula = Murder ~ Population + Illiteracy + Income + Frost,
data = state)
Residuals:
Min 1Q Median 3Q Max
-4.7960 -1.6495 -0.0811 1.4815 7.6210
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 1.235e+00 3.866e+00 0.319 0.7510
Population 2.237e-04 9.052e-05 2.471 0.0173 *
Illiteracy 4.143e+00 8.744e-01 4.738 2.19e-05 ***
Income 6.442e-05 6.837e-04 0.094 0.9253
Frost 5.813e-04 1.005e-02 0.058 0.9541
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 2.535 on 45 degrees of freedom
Multiple R-squared: 0.567, Adjusted R-squared: 0.5285
F-statistic: 14.73 on 4 and 45 DF, p-value: 9.133e-08
可以看出谋杀率和文盲率呈极显著线性相关
当有多个自变量时，回归系数的含义为：一个预测变量增加一个单位，其他预测变量不变时，相应变量将要增加的数目
有交互项的多元线性回归
示例数据来源于mtcars数据集，通过汽车重量（wt）和马力（hp）来预测汽车的每加仑行驶英里数（mpg）
> class(mtcars)
[1] "data.frame"
> fit<-lm(mpg~wt+hp+wt:hp,data = mtcars)
> fit
Call:
lm(formula = mpg ~ wt + hp + wt:hp, data = mtcars)
Coefficients:
(Intercept) wt hp wt:hp
49.80842 -8.21662 -0.12010 0.02785
> summary(fit)
Call:
lm(formula = mpg ~ wt + hp + wt:hp, data = mtcars)
Residuals:
Min 1Q Median 3Q Max
-3.0632 -1.6491 -0.7362 1.4211 4.5513
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 49.80842 3.60516 13.816 5.01e-14 ***
wt -8.21662 1.26971 -6.471 5.20e-07 ***
hp -0.12010 0.02470 -4.863 4.04e-05 ***
wt:hp 0.02785 0.00742 3.753 0.000811 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 2.153 on 28 degrees of freedom
Multiple R-squared: 0.8848, Adjusted R-squared: 0.8724
F-statistic: 71.66 on 3 and 28 DF, p-value: 2.981e-13
可以看出马力与汽车重量的交互项是显著的
这说明这两个自变量之间存在着相互的影响
