独立同分布的大样本OLS回归

2021-03-23 本文已影响0人 Boye0212

本文将把OLS回归，从小样本推广到大样本的情形。关于小样本OLS回归，可见《小样本OLS回归的框架》和《小样本OLS回归梳理》。

尽管在大样本下，假设、推导、结论都与在小样本情形下不同，但总体的思路还是一样的：

进行点估计，再研究估计量的性质；
构造统计量，在大样本下推导其渐近分布，并进行假设检验。

本文考虑大样本情形中最简单的情况：独立同分布的随机样本。

1 记号与假设

由于可能会考虑到时间序列的情形，因此这里对于单个样本的下标采用 $t$ ，不再用 $i$ 。记 $Q=\text{E}(x_t x_t')$ ， $V=\text{Var}(x_t\varepsilon_t)$ ，其他记号与小样本情形下一样。

假设1 独立同分布： $\{x_t',y_t\}'$ ， $t=1,\ldots,N$ 是可观测的独立同分布的随机样本；
假设2 线性性： $y_t=x_t'\beta+\varepsilon_t$ ，可写作矩阵形式 $y=X\beta+\varepsilon$ ；
假设3 模型正确设定： $\text{E}(\varepsilon_t|x_t)=0$ 且 $\text{E}(\varepsilon_t^2)=\sigma^2<\infty$ ；
假设4 非奇异性： $K\times K$ 矩阵 $Q$ 是对称、有限、非奇异的；
假设5： $K\times K$ 矩阵 $V$ 是对称、有限、正定的；
假设6 条件同方差： $\text{E}(\varepsilon_t^2|x_t)=\sigma^2$ 。

由假设1与假设3，可推出 $\text{E}(\varepsilon_t|X)=0$ ，即满足了严格外生性。另外，由于有假设3的保证， $V=\text{Var}(x_t\varepsilon_t)=\text{E}(x_t x_t' \varepsilon^2_t)$ 。

可以看到，在大样本下，不需要对扰动项作出正态分布的假设。而这里的独立同分布假设，也保证了扰动项无自相关，因此，在后续的推导中，只需要考虑假设6是否满足即可。若满足假设6，那么假设5可由假设4保证，若不满足假设6即存在条件异方差，可以用 $\text{E}(\varepsilon_t^4)<\infty$ 和 $\text{E}(x_{tk}^4)<\infty$ 联合保证假设5的矩条件。在推导后续结论时，一般要对是否满足假设6做分类讨论。

2 一些定理

定理1 独立同分布随机样本的弱大数定律：假设 $\{Z_t\}_{t=1}^n$ 为独立同分布随机样本， $\text{E}(Z_t)=\mu$ 且 $\text{E}(\vert Z_t\vert)<\infty$ ，定义 $\bar Z_n=n^{-1}\sum_{t=1}^{n}Z_t$ ，则当 $n\to \infty$ 时，有 $\bar{Z}_n \xrightarrow{p}\mu$ 。

定理2 独立同分布随机样本的多元中心极限定理：若 $\{Z_t\}_{t=1}^n$ 为独立同分布随机样本， $\text{E}(Z_t)=0$ 且 $\text{Var}(Z_t)=V$ 为有限、对称、正定的矩阵。定义 $\bar{Z}_n=n^{-1}\sum_{t=1}^{n} Z_t$ ，则当 $n\to\infty$ 时，有
$\sqrt{n}\bar{Z}_n\xrightarrow{d}\mathcal{N}(0,V)$

定理3 依概率收敛的连续性：若当 $n\to\infty$ 时， $A_n\xrightarrow{p}A$ ， $B_n\xrightarrow{p}B$ ，且 $g(\cdot)$ 和 $f(\cdot)$ 都是连续函数，则
$\begin{aligned} g(A_n)+h(B_n)&\xrightarrow{p}g(A)+h(B)\\ g(A_n)h(B_n)&\xrightarrow{p}g(A)h(B) \end{aligned}$

定理4 Slutsky定理：若 $Z_n\xrightarrow{d}Z$ ， $a_n\xrightarrow{p}a$ 且 $b_n\xrightarrow{p}b$ ，其中 $a$ 和 $b$ 是常数，则当 $n\to\infty$ 时有 $a_n+b_nZ_n \xrightarrow{d}a+bZ$ 。

3 $\hat\beta$ 的性质

$\beta$ 的点估计与小样本情形一样： $\hat\beta=(X'X)^{-1}X'y$ 。在后续推导中，主要用到的是 $\hat\beta$ 与 $\beta$ 之差， $\hat\beta-\beta=(X'X)^{-1}X'\varepsilon$ 。

为方便地使用大数定律和中心极限定理，可将它改写为 $\hat\beta-\beta=(\dfrac{1}{N}X'X)^{-1}(\dfrac{1}{N}X'\varepsilon)$ 。若将矩阵形式展开，上式就变为
$\hat\beta-\beta=(\dfrac{1}{N}\sum_{t=1}^{N}x_t x_t')^{-1}(\dfrac{1}{N}\sum_{t=1}^{N}x_t\varepsilon_t)$

其中 $\dfrac{1}{N}\sum_{t=1}^{N}x_t x_t'=\dfrac{1}{N}XX'$ 其实就是 $Q$ 的样本矩形式，记为 $\hat Q$ 。由大数定律， $\hat Q\xrightarrow{p}Q$ ，而矩阵求逆操作可视为连续函数，因此有 $\hat {Q}^{-1}\xrightarrow{p}Q^{-1}$ 。

同样利用大数定律和假设3，可得 $\dfrac{1}{N}\sum_{t=1}^{N}x_t\varepsilon_t \xrightarrow{p} \text{E}(x_t\varepsilon_t)=0$ 。再由定理3，可知 $\hat\beta-\beta\xrightarrow{p}0$ 。这就是估计量 $\hat\beta$ 的一致性。

4 $\hat\beta$ 的渐近分布及假设检验

4.1 $\hat\beta$ 的渐近分布

由中心极限定理可得
$\sqrt{N}\cdot\dfrac{1}{N}\sum_{t=1}^{N}x_t\varepsilon_t\xrightarrow{d}\mathcal{N}(0,V)$

因此
$\sqrt{N}(\hat\beta-\beta)\xrightarrow{d}\mathcal{N}(0,Q^{-1}VQ^{-1})$

它的渐近分布的方差又称为渐近方差，记为 $\text{Avar}(\sqrt{N}\hat\beta)=Q^{-1}VQ^{-1}$ 。

若满足假设6，即在条件同方差下， $V=\sigma^2Q$ ，渐近分布就变成了
$\sqrt{N}(\hat\beta-\beta)\xrightarrow{d}\mathcal{N}(0,\sigma^2 Q^{-1})$

4.2 假设检验

检验零假设 $H_0: R\beta=r$ ，其中 $R$ 为 $J\times K$ 矩阵。

4.2.1 条件异方差

若零假设成立，则 $R(\hat\beta-\beta)=R\hat\beta-r$ ，而左边的渐近分布已经知道了，因此，可构造
$\sqrt{N}(R\hat\beta-r)'(RQ^{-1}VQ^{-1}R')^{-1}\sqrt{N}(R\hat\beta-r)\xrightarrow{d}\chi^2_J$

式中的 $Q$ 和 $V$ 我们还需要进行估计。由前文可知 $\hat Q\xrightarrow{p}Q$ ，对于 $V$ ，我们同样可其用样本形式估计：
$\begin{aligned} \hat V&=N^{-1}\sum_{t=1}^{N}x_tx_t' e_t^2\\ &=\dfrac{X'D(e)D(e)'X}{N} \end{aligned}$

其中 $D(e)=\text{diag}(e_1,\ldots,e_N)$ 。

可以证得， $\hat V\xrightarrow{p}V$ 。证明只需将 $e_t$ 写为 $e_t=\varepsilon_t-(\hat\beta-\beta)'x_t$ 后代入 $\hat V$ 中，然后逐项推导依概率收敛即可。

最后，我们用 $\hat Q$ 和 $\hat V$ 进行替换，得：
$N(R\hat\beta-r)'(R\hat{Q}^{-1}\hat V\hat{Q}^{-1}R')^{-1}(R\hat\beta-r)\xrightarrow{d}\chi^2_J$

当 $J=1$ 时， $\chi^2_1$ 开根号就是标准正态分布，因此可直接构造 $t$ 统计量：
$\dfrac{\sqrt{N}(R\hat\beta-r)}{\sqrt{R\hat{Q}^{-1}\hat{V}\hat{Q}^{-1}R'}}\xrightarrow{d}\mathcal{N}(0,1)$

值得注意的是，在大样本下， $t$ 统计量的 $t_{N-K}$ 分布变成了标准正态分布。

4.2.2 条件同方差

若满足假设6，则 $V=\sigma^2 Q$ ，代入上一节，有
$N(R\hat\beta-r)'(\sigma^2 R\hat{Q}^{-1}R')^{-1}(R\hat\beta-r)\xrightarrow{d}\chi^2_J$

与小样本情形中遇到的问题一样，由于不知道 $\sigma^2$ 的值，无法直接计算统计量。因此，可同样用 $s^2$ 代替 $\sigma^2$ ，这也是一致估计量，即 $s^2\xrightarrow{p}\sigma^2$ 。最后可得
$N(R\hat\beta-r)'(s^2 R\hat{Q}^{-1}R')^{-1}(R\hat\beta-r)\xrightarrow{d}\chi^2_J$