一元线性回归（BLUE性以及R方）

2021-01-23 本文已影响0人想象_442c

在经典假设下，OLS估计量估计量具有，线性、无偏性和有效性三个优良性质，称为最佳线性无偏估计量（best linear unbiased estimator,BLUE）

指 $\hat{\beta_0}$ 和 $\hat{\beta_1}$ 为 $y_i$ 和 $u_i$ 的线性函数
$\hat{\beta_1}=\Sigma \cfrac{\dot{x_i}}{\Sigma \dot{x_i}^2}y_i$

$\hat{\beta_1}=\beta_1+\Sigma \cfrac{\dot{x_i}}{\Sigma \dot{x_i}^2}u_i$

$\hat{\beta_0}=\Sigma (\cfrac{1}{n}-\bar{x}\cfrac{\dot{x_i}}{\Sigma \dot{x_i}^2})y_i$

$\hat{\beta_0}=\beta_0+\Sigma (\cfrac{1}{n}-\bar{x}\cfrac{\dot{x_i}}{\Sigma \dot{x_i}^2})u_i$

$E(\hat{\beta_1})=\beta_1$

$E(\hat{\beta_0})=\beta_0$

在回归参数的所有线性无偏估计量中，OLS估计量的方差最小

$R^2=\cfrac{ESS}{TSS}=1-\cfrac{RSS}{TSS}$

$TSS=\Sigma (y_i-\bar{y})^2$

TSS为 y 的总离差平方和 ,反映的是因变量y的变异程度（离散程度）

$ESS=\Sigma (\hat{y_i}-\bar{y})^2$

ESS为TSS中被 y 对 x 的回归方程所说明的部分，称为回归平方和（或已被解释的平方和）

$RSS=\Sigma (y_i-\hat{y})^2$

RSS为TSS中未被回归方程所说明的部分，称为残差平方和

$R^2$ 称为拟合优度（测定系数/可决系数）它代表着回归方程可以解释的那部分变差占总变差的比例，越接近 1 表明能解释的越多，拟合程度越好。

$R^2$ 还有其他形式的表达：
$R^2=\hat{\beta_1}\cfrac{\Sigma\dot{x_i}\dot{y_i}}{\Sigma\dot{y_i}^2}$