一元线性回归（普通最小二乘估计OLS）

2021-01-20 本文已影响0人想象_442c

思想：

用 $\hat{y_i}=\hat{\beta_0}+\hat{\beta_1}\hat{x_i}$ 来当作 $y_i$ 的估计量

这里 $y_i$ 与 $\hat{y_i}$ 不一定相等，设两者之差为 $\varepsilon_i$ 称其为残差

OLS就是要求得使残差 $\varepsilon_i$ 最小的参数 $\hat{\beta_0}$ $\hat{\beta_1}$

$\hat{\beta_0}=\bar{y}-\hat{\beta_1}\bar{x}$

$\hat{\beta_1}=\cfrac{\Sigma(x_i-\bar{x})(y_i-\bar{y})}{\Sigma(x_i-\bar{x})^2} =\cfrac{\Sigma x_iy_i-n\bar{x}\bar{y}}{\Sigma x_i^2-n\bar{x}^2}$

其他的表达形式：

记 $\dot{x_i}=x_i-\bar{x}$

$\dot{y_i}=y_i-\bar{x}$
$\hat{\beta_1}=\cfrac{\Sigma\dot{x_i}\dot{y_i}}{\Sigma\dot{x_i}^2}$