van der Vaart渐进统计之半参：3. 切空间（Tang

2021-01-06 本文已影响0人顾劝劝

引入Fisher information的推广版本的概念。我们知道在一个概率测度集合里估计参数，比这个率测度子集里估计参数要难。空间越大，信息越少。全模型的信息不会比子模型中信息最少的那个更多。我们管那个信息最少的子模型叫做“least favorable”或者“hardest” submodel。

我们先来考虑一个一维子模型们 $\mathcal{P}_0$ （大多数情况下考虑一维就足够了）。它包含了真实分布 P，而且在P处可导*。看一个这样的映射： $t\rightarrow P_t$ ，t在0的非负邻域，映射的像在 $\mathcal P$ ，对于某个可测函数 $g:\mathcal X \rightarrow \mathbb R$ 有
$\int [\dfrac{dP_t^{1/2}-dP^{1/2}}{t}-\dfrac{1}{2} g dP^{1/2}]\rightarrow 0$
我们称这个参数子模型 $\{P_t:0<t<\epsilon\}$ 是differentiable in quadratic mean at t=0，它的score function是 $g$ 。这个映射跑遍所有的子模型，我们就能得到一族score function，叫做模型 $\mathcal P$ 在P处的tangent set，记成 $\dot {\mathcal P_P}$ 。tangent set往往是一个线性空间，这样的话我们就把这个集合叫做tangent space，切空间。

子空间经常是这样构造的，对于每个x：
$g(X) = \dfrac{\partial}{\partial t}|_{t=0} dP_t(x)$

我们关心的其实是模型中的那个参数 $\psi(P)$ ，而且关心那些可微的参数：
$\dfrac{\psi(P_t)-\psi(P)}{t}\rightarrow \dot \psi_P g$

这个线性映射 $\dot \psi_P g$ 可以写成内积的形式，也可以写成可测函数（不唯一）的形式：
$\dot \psi_P g = \langle\tilde \psi_P,g\rangle=\int \tilde \psi_P g dP$
这个函数不唯一，但是我们可以找到一个候选的 $\tilde\psi_P$ ，包含在tangent set的linear span的闭包（closure）里。这个函数是唯一的，这边是大名鼎鼎的efficient influence function。别的influence function投影在这个tangent set的closed linear span上，就是它。

* 如果存在一个可测函数向量 $\dot l_\theta = (\dot l_{\theta,1},\cdots,\dot l_{\theta,k})^T$ ，使得 $\int [ \sqrt{p_{\theta+h}} - \sqrt{p_{\theta}} -\frac{1}{2}h^T\dot l_\theta \sqrt{p_{\theta}} ]^2 d\mu = o(||h||^2)$ ，那么模型 $P_\theta$ 就是differentiable in quadratic mean at $\theta$ 。

van der Vaart渐进统计之半参：3. 切空间（Tang

猜你喜欢

热点阅读