平稳时间序列的大样本OLS回归

2021-03-29 本文已影响0人 Boye0212

有了《独立同分布的大样本OLS回归》的铺垫，现在进一步将OLS推广到平稳时间序列的情况。

思路还是一样：

进行点估计，再研究估计量的性质；
构造统计量，在大样本下推导其渐近分布，并进行假设检验。

这里的各种计算与上一篇非常像，需要注意的是大数定律和中心极限定理在这里的使用条件（遍历平稳、鞅差分过程等）与上一篇不同，因此也需要不同的假设。

1 记号与假设

记 $Q=\text{E}(x_t x_t')$ ， $V=\text{Var}(x_t\varepsilon_t)$ 。

假设1 遍历平稳性（Ergodic stationary）： $\{x_t',y_t\}'$ ， $t=1,\ldots,N$ 是可观测的遍历平稳过程；
假设2 线性性： $y_t=x_t'\beta+\varepsilon_t$ ，可写作矩阵形式 $y=X\beta+\varepsilon$ ；
假设3 模型正确设定： $\text{E}(\varepsilon_t|x_t)=0$ 且 $\text{E}(\varepsilon_t^2)=\sigma^2<\infty$ ；
假设4 非奇异性： $K\times K$ 矩阵 $Q$ 是对称、有限、非奇异的；
假设5 鞅差分：相对于 $\{x_s \varepsilon_s, s\lt t\}$
生成的 $\sigma$ -域， $\{x_t \varepsilon_t\}$ 为一鞅差分序列，且 $K\times K$ 矩阵 $V$ 是对称、有限、正定的；
假设6 条件同方差： $\text{E}(\varepsilon_t^2|x_t)=\sigma^2$ 。

假设1包含了上一篇中的独立同分布过程。由于不再是在独立同分布假设下，因此严格外生性 $\text{E}(\varepsilon_t|X)=0$ 不一定可以满足。假设3允许 $x_t$ 包含前定变量（predetermined variables）如滞后的因变量 $y_{t_1}$ 等，另外，由于有假设3的保证， $V=\text{Var}(x_t\varepsilon_t)=\text{E}(x_t x_t' \varepsilon^2_t)$ 。

2 一些定理

定理1 遍历平稳随机样本的弱大数定律：假设 $\{Z_t\}_{t=1}^n$ 为遍历平稳过程， $\text{E}(Z_t)=\mu$ 且 $\text{E}(\vert Z_t\vert)<\infty$ ，定义 $\bar Z_n=n^{-1}\sum_{t=1}^{n}Z_t$ ，则当 $n\to \infty$ 时，有 $\bar{Z}_n \xrightarrow{p}\mu$ 。

定理2 遍历平稳鞅差分序列的中心极限定理：若 $\{Z_t\}_{t=1}^n$ 为遍历平稳鞅差分过程， $\text{Var}(Z_t)=V$ 为有限、对称、正定的矩阵。定义 $\bar{Z}_n=n^{-1}\sum_{t=1}^{n} Z_t$ ，则当 $n\to\infty$ 时，有
$\sqrt{n}\bar{Z}_n\xrightarrow{d}\mathcal{N}(0,V)$

3 $\hat\beta$ 的性质

这里的全部内容都与上一篇类似。

和之前一样， $\hat\beta=(X'X)^{-1}X'y$ ， $\hat\beta$ 与 $\beta$ 之差为 $\hat\beta-\beta=(X'X)^{-1}X'\varepsilon$ 。

使用遍历平稳过程的弱大数定律，有 $\hat Q\xrightarrow{p}Q$ ，且 $\hat {Q}^{-1}\xrightarrow{p}Q^{-1}$ 。

同样有 $\dfrac{1}{N}\sum_{t=1}^{N}x_t\varepsilon_t \xrightarrow{p} \text{E}(x_t\varepsilon_t)=0$ （利用了假设3）。由此可得 $\hat\beta-\beta\xrightarrow{p}0$ 。说明在这里， $\hat\beta$ 依旧是一致的。

4 $\hat\beta$ 的渐近分布及假设检验

这里的全部内容都与上一篇类似。

4.1 $\hat\beta$ 的渐近分布

与上一篇类似，可以推出

$\sqrt{N}(\hat\beta-\beta)\xrightarrow{d}\mathcal{N}(0,Q^{-1}VQ^{-1})$

它的渐近分布的方差又称为渐近方差，记为 $\text{Avar}(\sqrt{N}\hat\beta)=Q^{-1}VQ^{-1}$ 。

若满足假设6，即在条件同方差下， $V=\sigma^2Q$ ，渐近分布就变成了
$\sqrt{N}(\hat\beta-\beta)\xrightarrow{d}\mathcal{N}(0,\sigma^2 Q^{-1})$

4.2 假设检验

检验零假设 $H_0: R\beta=r$ ，其中 $R$ 为 $J\times K$ 矩阵。

4.2.1 条件异方差

若零假设成立，则 $R(\hat\beta-\beta)=R\hat\beta-r$ ，而左边的渐近分布已经知道了，因此，可构造
$\sqrt{N}(R\hat\beta-r)'(RQ^{-1}VQ^{-1}R')^{-1}\sqrt{N}(R\hat\beta-r)\xrightarrow{d}\chi^2_J$

式中的 $Q$ 和 $V$ 我们还需要进行估计。与上一篇类似，我们有 $\hat Q\xrightarrow{p}Q$ ，对于 $V$ ，我们同样可其用样本形式估计：
$\begin{aligned} \hat V&=N^{-1}\sum_{t=1}^{N}x_tx_t' e_t^2\\ &=\dfrac{X'D(e)D(e)'X}{N} \end{aligned}$

其中 $D(e)=\text{diag}(e_1,\ldots,e_N)$ 。

可以证得， $\hat V\xrightarrow{p}V$ 。

最后，用 $\hat Q$ 和 $\hat V$ 进行替换，得：
$N(R\hat\beta-r)'(R\hat{Q}^{-1}\hat V\hat{Q}^{-1}R')^{-1}(R\hat\beta-r)\xrightarrow{d}\chi^2_J$

当 $J=1$ 时， $\chi^2_1$ 开根号就是标准正态分布，因此可直接构造 $t$ 统计量：
$\dfrac{\sqrt{N}(R\hat\beta-r)}{\sqrt{R\hat{Q}^{-1}\hat{V}\hat{Q}^{-1}R'}} \xrightarrow{d} \text{N}(0,1)$