小样本OLS回归梳理

上一篇《小样本OLS回归的框架》讲解了小样本OLS回归的主要框架，本文沿着该框架，对小样本OLS回归做一个全面的梳理。

1 假设

这里先将所有的小样本OLS回归中可能用到的假设放到一起，方便浏览。当然，后面的每一个结论并不是要用到所有的假设，而是只用到某几个假设，这在后面讲每个结论时会具体说明。

• 假设1 线性性：，其中是未知参数向量，将所有个样本放到一起，可以写成，其中是矩阵；
• 假设2 严格外生性：；
• 假设3 非奇异性：是非奇异的；
• 假设4 球形扰动项：；
• 假设5 条件正态扰动项 ；
• 假设6 无近似多重共线性：当时，的最小特征值的概率为1。

其中，假设3等价于。假设6只在个别资料中会出现，它排除了近似多重共线性的可能。另外，假设4说明了扰动项没有自相关性并且是同方差的，假设5包含了假设4，假设5只在需要推导的抽样分布及其相关问题时需要用到。

2 的点估计及其性质

2.1 的点估计

通过求解，在假设3成立时很容易得到，这就是点估计。

我们将线性回归的残差记为。

在后续的推导中，主要用到的是点估计与真实的差，利用假设1，有。

2.2 的性质

首先，的条件期望就等于，即它是条件无偏的，利用假设4，可以得到。当然，在无条件下它也是无偏的。

它的条件方差很好计算，由定义和假设4，。若假设6也成立，则对于任何且满足的向量，有当时，。这意味着，只要不存在近似多重共线性，那么只要数据足够多，的方差就会趋近于0，反之，若出现了近似多重共线性，方差就很难靠收集数据来补救。

可以证明，在所有的线性无偏估计量中，具有最小的方差，这就是Gauss-Markov定理。它表明，对于任意一个其他的线性无偏估计量，必为半正定矩阵。

对于未知的参数，可以用残差的方差估计量来估计它。这也是一个无偏估计量，即。

3 的抽样分布及假设检验

3.1 的抽样分布

由于是小样本，因此对于扰动项分布的假设至关重要。光靠假设4是不够的，必须要用更强的假设5。

有了假设5，可以得出也服从条件正态分布：

对于任意的非随机矩阵，有

3.2 拟合优度

线性回归模型对数据的拟合情况怎样？可以用拟合优度来表达。下式为非中心化的表达式：

下式是中心化，又叫决定系数（Coefficient of Determination）：

其实，就是和之间的相关系数平方：。

3.3 一些辅助结论和定理

定理1 正态随机变量的二次型 维随机向量，是的非随机对称幂等矩阵，，则。

定理2 维随机向量，其中是的对称、非奇异的协方差矩阵，则。

由定理1，可以得到。

另外，，并且和服从联合正态分布，这是因为

而由假设5，服从条件正态分布，因此上式是的线性组合，也服从以为条件的联合正态分布。而对于联合正态分布来说，不相关性等价于独立性，因此，和是独立的。

3.4 假设检验

3.4.1 检验

我们可以对如这样的零假设进行假设检验，其中为的矩阵。

若零假设成立，那么

由3.1节，我们可知

再利用定理2，可以得出

由于分布不依赖于，因此，上式的无条件分布也服从分布。

但问题在于是未知的，因此上式是无法计算的。解决办法是利用替代它，这样替代后，再稍作处理（除以），我们可以推导出一个不一样的分布，也就是统计量：

为何服从分布？可以从分子为分布除以、分母为分布除以、分子与分母中的变量与相互独立三个条件证明。

从另一个角度，记为无约束回归的残差，记为在约束下的回归的残差，那么统计量又可以写为

3.4.2 检验

当时，和变成了标量，不必再用二次型的形式构造出分布，而是可以直接构造正态分布形式：

只要再对上一节统计量的分母也相应求平方根，就可以得到统计量：

从而可进行检验。