02 Delta Method

2021-07-01 本文已影响0人顾劝劝

本章提要

Delta Method
高阶Delta Method

Delta Method

如果我们知道一个统计量序列 $T_n$ 是关于 $\theta$ 以某个速率收敛的估计，
$r_n (T_n - \theta)\xrightarrow{d} T$
那 $\phi(T_n)$ 有什么性质呢？
（ $\phi$ 是一个光滑的映射）

定理：

Let $r_n\rightarrow \infty$ be deterministic, and $\phi:\mathbb R^d\rightarrow \mathbb R^k$ be differentiable at $\theta$ . Assume $r_n (T_n - \theta)\xrightarrow{d} T$ for some random vector $T$ . Then
(1) $r_n (\phi(T_n) - \phi(\theta))\xrightarrow{d} \phi'(\theta)T$
(2) $r_n (\phi(T_n) - \phi(\theta))-r_n\phi'(\theta)(T_n-\theta)\xrightarrow{p}0$
其中 $\phi'(\theta)\in \mathbb R^{k\times d}$ is the Jacobian matrix with entries $[\phi'(\theta)]_{ij}=\dfrac{\partial \phi_i(\theta)}{\partial \theta_j}$

证明概述： $\phi(T_n)$ 在 $\theta$ 处泰勒展开至二阶，二阶项是op(1)，得证（2），然后（1）使用Slutsky Thm即可得证。

第一个例子：平方

$\phi(\theta)=\frac{1}{2}||h||_2^2$ , $X_i\sim P, \mathbb E[X]=\theta\neq 0, Cov(X)=\Sigma$
本来是 $\sqrt{n}(\dfrac{1}{n}\sum X_i-\theta)\xrightarrow{d} N(0,\Sigma)$
现在有 $\sqrt{n}(\dfrac{1}{2}||\dfrac{1}{n}\sum X_i||_2^2-\dfrac{1}{2}||\theta||^2_2)\xrightarrow{d} N(0,\theta^T\Sigma\theta)$
要是 $\theta= 0$ , 那 $\sqrt{n}(\dfrac{1}{2}||\dfrac{1}{n}\sum X_i||_2^2-\dfrac{1}{2}||\theta||^2_2)\xrightarrow{p} 0$

第二个例子：

我们知道
$\sqrt{n}\left(\left(\begin{array}{c} \overline{X_n}\\ \overline{X^{2}_n} \end{array}\right) - \left(\begin{array}{c} m_1\\ m_{2} \end{array}\right)\right) \xrightarrow{d} N\left( 0,\ \left(\begin{array}{cc} m_2-m_1^2&m_3-m_1 m_2 \\ m_3-m_1 m_2& m_4-m_2^2 \end{array}\right)\right)$
$S_n^2=-\overline{X_n}^2+\overline{X^{2}_n}=\phi(\overline{X_n}, \overline{X^{2}_n}), \phi(x,y):=-x^2+y$
由此可得 $\sqrt{n}(S_n^2-\sigma^2)\xrightarrow{d}N(0,m_4-m_2^2)=N(0,Var(X^2))$

高阶Delta Methods

泰勒展开忽略二阶以上小量可以得到Delta Method，忽略三阶以上小量可以得到高阶的Delta Method：
$r_n^2 (\phi(T_n)-\phi(\theta))\xrightarrow{d} \dfrac{1}{2}T^T \nabla^2\phi(\theta)T$

例子可以通过高阶Delta Method对KL divergence的表达式求二阶导，得到由一个参数控制的
$nD_{KL}\xrightarrow{d} \dfrac{1}{2}\chi^2_{(1)}$