点估计的评价标准

2023-12-08  本文已影响0人  YiYa_咿呀

1-均方误差（mean squared error, MSE）

\begin{aligned} &|\boldsymbol{\hat{\theta}-\theta}|,\theta\in\Theta. \\ &\begin{aligned}\boldsymbol{MSE}(\hat{\theta})=\boldsymbol{E}(\hat{\theta}\text{-}\theta)^2=\boldsymbol{D}(\hat{\theta})+(\boldsymbol{E}\hat{\theta}-\theta)^2\end{aligned} \\ &偏差: Bias \hat{\theta}=E\hat{\theta}-\theta \\ &\textbf{若偏差为}0\text{,则 MS}E(\hat{\theta})=D(\hat{\theta}). \end{aligned}

2-无偏性

若 E\left(\hat{\theta}\right){=}\theta, 则称 \hat{\theta} 为\theta 的无偏估计量. 例 证明样本均值 \bar{X} 为总体期望 \mu=E(X)的无偏估计.

E(\bar{X})=\frac1n\sum_{i=1}^nE(X_i)=E(X)=\mu \begin{aligned}E(A_k)&=\frac{1}{n}\sum_{i=1}^{n}E(X_i^k\:)=E(X^k\:)=\alpha_k\end{aligned}

3-有效性

定义设\hat{\theta}_0是参数\theta(\theta\in\Theta)的无偏估计量，若对\theta的任意无偏
估计\hat{\theta}有

D(\hat{\theta}_0)\leq D(\hat{\theta}),\forall\theta\in\Theta

则称\hat{\theta}_0 是\theta的最小方差无偏估计.

如果存在一致最小方差估计，但是这个方差很难找到或者无法确定，那可以使用Rao-Crammer不等式寻找一致最小方差估计的下界
设 \Theta是实数轴上的一个开区间，\{f(x;\theta),\theta\in\Theta\} 是总体\chi的概率函数； T(X_1,\cdots,X_n) 是g(\theta)的任意 一个无偏估计，且
满足正则性：集合 \{x:f(x;\theta)>0\} 与\theta无关；
g^{\prime}(\theta) 与 \frac{\partial f(x;\theta)}{\partial\theta} N 存在，且对一切 \theta\in\Theta,有
\frac{\partial}{\partial\theta}\int_{-\infty}^{+\infty}f(x;\theta)dx=\int_{-\infty}^{+\infty}\frac{\partial f(x;\theta)}{\partial\theta}dx
\begin{aligned}&\text{其中}\quad&L(\theta)=\prod_{i=1}^nf(x_i;\theta)\\&\text{令}\quad&I(\theta)=E\left[\frac{\partial}{c\theta}\ln f(X;\theta)\right]^2\quad&\text{Fisher信息量}\\&\text{则}\quad&D(T)\ge\frac{[g'(\theta)]^2}{nI(\theta)}\quad&\text{Rao-Cramer不等式}\end{aligned}
\begin{gathered} 特别当g(\theta)=\theta 时,有 \\ D(T)\ge\frac{1}{nI(\theta)}\quad\text{Rao-Cramer不等式} \\ \text{其中}I(\theta)=E\bigg[\frac{\partial}{\partial\theta}\ln f(X;\theta)\bigg]^{2}\text{Fisher信息量} \end{gathered}

设\hat{\theta}是参数\theta 的任一无偏估计，称e(\hat{\theta})=\frac{\frac{1}{{nI(\theta)}}}{D(\hat{\theta})}

有效估计： e(\hat{\theta})=1则为\hat{\theta} 的有效率

4- 一致性（相合性）

充分性(Sufficiency)
定义 设x_1,x_2,...,x_n是来自某个总体的样本，总体分布函数为F(x;\theta),统计 量 T=T(x_1,x_2,...,x_n) 称为 \theta 的充分统计量，如果在给定T的取值后，x_1,x_2,...,x_n的条件分布与\theta无关.

例 设 X{\sim}B(1,\theta),
则 T 是\theta 的充分统计量； 令T=X_1+\cdots+X_n,
S 不是\theta的充分统计量. 令S=X_1+X_2\:, 例 设 X{\sim}N(\mu,\sigma^2),

令T=\overline{X},\quad则T 是\mu 的充分统计量.
\begin{aligned} & \text{设 }X{\sim}B(1,\theta),\quad\text{样本}X_{1},\cdots,X_{n}, \\ &\text{令 }T=X_1+\cdots+X_n,\text{则 }T\text{是}\theta\text{的充分统计量。} \\ \text{O证:}& P(X_1=x_1,...,X_n=x_n|T=t) \\ &=\frac{P(X_1=x_1,\ldots,X_n=x_n)P(T=t|X_1=x_1,\ldots,X_n=x_n)}{P(T=t)} \end{aligned}
\begin{aligned} &P(X_{_1}=x_{_1},...,X_{_n}=x_{_n}\big|T=t\big) \\ &=\frac{P(X_{1}=x_{1},\ldots,X_{n}=x_{n})P(T=t\big|X_{1}=x_{1},\ldots,X_{n}=x_{n}\big)}{P(T=t)} \\ &\left.=\left\{\begin{aligned}\frac{\theta'(1-\theta')\cdot1}{C_n'\theta'(1-\theta')}&=\frac{1}{C_n'}\quad\sum_{i=1}^nx_i=t\\\\0&\sum_{i=1}^nx_i\neq t\end{aligned}\right.\right. \\ \end{aligned}

一致性
定义设\hat{\theta}是参数\theta的估计量，若对任意\varepsilon>0,有
\lim_{n\to\infty}P(\left|\widehat{\theta}-\theta\right|<\varepsilon)=1 即 \hat{\theta}\stackrel{T}{\to}\theta n\to\infty 则称\hat{\theta}为\theta的一致估计量.

例 证明正态总体的样本方差S2是\sigma2的一致估计.

\frac{n-1}{\sigma^{2}}S^{2}{\sim}\chi^{2}(n-1),\quad E(S^{2})=\sigma^{2}

D(S^{2})\:=D\left(\frac{\sigma^{2}}{n-1}\cdot\frac{n-1}{\sigma^{2}}S^{2}\right)=\frac{\sigma^{4}}{(n-1)^{2}}D\left(\frac{n-1}{\sigma^{2}}S^{2}\right)
\begin{aligned} &\text{由切比雪夫不等式} \\ &P(|S^{2}-\sigma^{2}|<\varepsilon)\geq1-\frac{2\sigma^{4}}{(n-1)\varepsilon^{2}} \\ &\frac{-1}{n\rightarrow\infty} \end{aligned}

上一篇 下一篇

猜你喜欢

热点阅读