03 Asymptotic normality in estim

2021-07-02 本文已影响0人顾劝劝

本章提要：

经验过程的一些符号
一致性
渐进正态和泰勒展开
Fisher Information

符号

$Pf:=\int fdP = \int_{\mathcal X} f(x) dP(x)$
比如对经验分布 $P_n=\dfrac{1}{n}\sum_{i=1}^n 1_{X_i}$ ，经验过程就可以写成
$P_n(A)=\dfrac{1}{n} card(\{i \in [n]:X_i\in A\}),\ P_nf=\dfrac{1}{n} \sum_{i=1}^n f(X_i)$
再比如MLE估计可以写成
$\hat \theta_n = \argmax_{\theta \in \Theta}P_n l_\theta(X),\ l_\theta(X):=\log p_\theta(X)$

一致性

先定义identifiable，也就是一个 $P$ 只能估计出一个 $\theta$ :
A model $\{ P_\theta \}_{\theta \in \Theta}$ is identifiable if $P_\theta\neq P_{\theta'}$ for all $\theta \neq \theta' \in \Theta$ .

有限 $\Theta$ 的一致性定理

Assume that $\{ P_\theta \}$ is identifiable and card( $\Theta)<\infty$ . Then $\hat \theta_n \xrightarrow{p}\theta$ under $P_\theta$ .

无限的时候通常也成立，不过有时有例外；
通常一致性是论据最难的部分；
是很多结论的充分条件，比如
- 一致收敛 $\sup_{\theta \in \Theta}|P_n l_\theta-P l_\theta|\xrightarrow{p}0$ for $X_i \sim P$
- 凸性 when $\theta \mapsto l_\theta(x)$ is convex ( or concave when maximizing)

Fisher Information

$I(\theta):\mathbb E_\theta[\nabla l_\theta(X)\nabla l_\theta(X)^T]$
如果期望和求导可以交换（interchangeable）那 $I(\theta)=-\mathbb E[\nabla^2 l_\theta(X)]$

渐进正态

$\sqrt{n} (\hat \theta_n -\theta)\xrightarrow{d} N\left(0,(P_{\theta_0}\nabla^2l_{\theta_0})^{-1} I_{\theta_0}(P_{\theta_0}\nabla^2l_{\theta_0})^{-1}\right)=N(0,I_\theta^{-1})$

这个方差就是Cramer Rao bounds

information 有可加性，两个事情的信息就是两个信息加起来。
它不会告诉你是不是有偏
information bounds只是关于渐进无偏的估计提供了一点点信息
狭窄地适用于平方误差

03 Asymptotic normality in estim

本章提要：

符号

一致性

有限 $\Theta$ 的一致性定理

Fisher Information

渐进正态

猜你喜欢

热点阅读

03 Asymptotic normality in estim

本章提要：

符号

一致性

有限的一致性定理

Fisher Information

渐进正态

猜你喜欢

热点阅读

有限 $\Theta$ 的一致性定理