第二节 多元线性回归
2019-06-10 本文已影响0人
Vector_Wan
本节主要包括：
思维导图
一、回归模型的引入
1. 模型的一般形式
和一元线性回归一样，回归模型，与理论回归方程为：
因为多元线性回归一个观测值就不再是一个标量而是一个向量了，所以可能自变量的观测值就变成了 而对应的因变量的观测值不变，还是
因此我们把这些观测值每一行每一行的叠加起来就成为了一个向量或者矩阵。
为了方便，记：
那么这个时候的多元线性回归的表示就变成了, 其中
我们一般称为设计矩阵。
2. 多元线性回归模型的基本假定
为了方便参数估计有下面三个基本假定：
- 解释变量
是确定性变量，不是随机变量，设计矩阵是满秩矩阵。
- 随机误差项的高斯-马尔科夫条件：
随机误差平均值为 0，随机误差在不同样本点之间不相关。
- 随机误差项的正态假设
根据以上的假设我们有：
3. 多元线性回归方程的解释
所以如何去理解多元线性回归的含义？我们其实根据理论回归方程，比方说对自变量 求偏导，就会有
，注意偏导的含义是控制其余变量不变的。因此这里
的含义就是在控制其余因素不变的情况下，我每增加一个单位的
会给我的因变量带来
个单位的影响。这也是和一元回归稍微不一样的地方。
二、回归参数的估计
1. 回归参数的最小二乘法估计
我们现在要最小化的函数是:
对每一个需要估计的参数求偏导，我们可以得到一系列的方程组如下:
下面使用矩阵的语言来描述会简单一些：
矩阵方法
最后得到的结果为：
说到这里，我们要提一下我们所得到的矩阵。因为它太重要了，所以需要给它一个单独的定义。
定义： 为帽子矩阵。
也就是说，如果我们的观测值是 （请注意，这里是向量不再是数了，请尽快习惯矩阵的语言）。那么估计值就是
。（加了一个小帽子 ^ ）
帽子矩阵有很多良好的性质：
- H 是 n 阶对称阵
- H 是幂等矩阵
- H 是投影阵
2. 回归值与残差值
首先先给出一些基本概念：（注意都是向量）
- 我们称：
为经验拟合方程。
- 称
为回归拟合值(回归值 或 拟合值)。
- 称
为残差。
Ps.是误差。
下面我们来给出一些结论：
- 残差 e 的协方差阵
,
- 误差项方差
的无偏估计为：
这部分的推导回头我有时间再加，见书 P63
3. 极大似然估计
和一元的一样，，
