R语言学习-选择最佳的回归模型

尝试获取一个回归方程时，实际上你就要面对着从众多可能的模型中做出选择，包括对回归模型的比较以及变量的选择。

模型比较-AIC

AIC(赤池信息准则)用来比较模型，它考虑了模型的统计拟合度以及用来拟合的参数数目。AIC值小的回归模型要优先选择，它说明模型用少的参数获得了足够的拟合度

> state<-as.data.frame(state.x77[,c("Murder","Population","Illiteracy","Income","Frost")])
> fit1<-lm(Murder~Population+Illiteracy+Income+Frost,data = state)
> fit2<-lm(Murder~Population+Illiteracy,data = state)
> AIC(fit1,fit2)
     df      AIC
fit1  6 241.6429
fit2  4 237.6565

此处AIC值表明没有Income和Frost的模型更佳

变量选择

从大量候选变量中选择最终的预测变量（自变量）有两种流行的方法：逐步回归法和全子集回归法

逐步回归法-stepAIC()

逐步回归中，模型会一次添加或者删除一个变量，直到达到某个判定准则为止
向前回归：每次添加一个预测变量到模型中，知道添加变量不会使模型有所改进为止
向后回归：从模型包含的所有预测变量开始，一次删除一个变量直到会降低模型质量为止
逐步回归可以使用MASS包中的stepAIC()函数实现

> library(MASS)
> state<-as.data.frame(state.x77[,c("Murder","Population","Illiteracy","Income","Frost")])
> fit<-lm(Murder~Population+Illiteracy+Income+Frost,data = state)
> stepAIC(fit,direction = "backward")
Start:  AIC=97.75
Murder ~ Population + Illiteracy + Income + Frost

             Df Sum of Sq    RSS     AIC
- Frost       1     0.021 289.19  95.753
- Income      1     0.057 289.22  95.759
<none>                    289.17  97.749
- Population  1    39.238 328.41 102.111
- Illiteracy  1   144.264 433.43 115.986

Step:  AIC=95.75
Murder ~ Population + Illiteracy + Income

             Df Sum of Sq    RSS     AIC
- Income      1     0.057 289.25  93.763
<none>                    289.19  95.753
- Population  1    43.658 332.85 100.783
- Illiteracy  1   236.196 525.38 123.605

Step:  AIC=93.76
Murder ~ Population + Illiteracy

             Df Sum of Sq    RSS     AIC
<none>                    289.25  93.763
- Population  1    48.517 337.76  99.516
- Illiteracy  1   299.646 588.89 127.311

Call:
lm(formula = Murder ~ Population + Illiteracy, data = state)

Coefficients:
(Intercept)   Population   Illiteracy  
  1.6515497    0.0002242    4.0807366  

上述代码展示了向后回归
根据AIC值判断，最优预测变量应该是Population+Illiteracy
逐步回归法其实存在争议，虽然它可能会找到一个好的模型，但是不能保证模型就是最佳模型，因为不是每一个模型都被评价了。为了克服这个限制，便有了全子集回归

全子集回归-regsubsets()

全子集回归指所有的模型都会被检验。
全子集回归可以使用leaps包中的regsubsets()函数实现。可以通过R平方，调整R平方统计量来选择最佳模型
R平方含义时预测变量解释响应变量的程度，R平方总会随着变量数目的增加而增大
调整R平方则提供了更为真实的R平方估计

> library(leaps)
> state<-as.data.frame(state.x77[,c("Murder","Population","Illiteracy","Income","Frost")])
> leaps<-regsubsets(Murder~Population+Illiteracy+Income+Frost,data = state,nbest=4)
> plot(leaps,scale = "adjr2")#选择调整R平方值

image.png

如图所示
截距+Income的调整R平方值为0.033
截距+Population的调整R平方值为0.1
以此类推
调整R平方值越高的模型越好
因此最佳预测变量为
Population+Illteracy