总体方差与样本方差

2019-12-20  本文已影响0人  十年磨剑的简书

最近看参数估计的时候总会遇到由样本均值和方差导出对总体均值和方差的无偏估计. 对于均值部分很好理解, 样本均值\overline{X}即为总体均值\mu的无偏估计
\overline{X}=\frac 1n\sum_{i=1}^n X_i
比较难懂的是对总体方差\sigma^2的无偏估计, 给出的公式为S^2=\frac{1}{n-1}\sum_{i=1}^n(X^i-\overline{X})^2
这里冒出一个n-1, 说它是\sigma^2的无偏估计, 然后说样本二阶中心矩B_2=\frac{1}{n}\sum_{i=1}^n(X_i-\overline{X})^2是总体方差的有偏估计, 因为EB_2=E(\frac{n-1}{n}S^2)=\frac{n-1}{n}\sigma^2\neq\sigma^2
但这里并没有给样本方差无偏的根据, 生生除一个n-1实在让人难以琢磨, 索性硬推一下, 搞搞明白.首先给出常用的期望与方差的性质:
\begin{cases} EC=C \\ 对任意常数a和b, 有E(aX+bY)=aEX+bEY \\ 若随机变量X与Y相互独立, 则E(XY)=EX \cdot EY \\ E(c | Y)=c, c为任意常数 \\E(aX+b|Y)=aE(X|Y)+b \\E(aX_1 + bX_2|Y)=aE(X_1|Y)+bE(X_2|Y) \\EX=E[E(X|Y)], 重期望公式 \\VarX=E(X-EX)^2 \\VarX=EX^2 - (EX)^2 \\VarC=0 \\Var(aX)=a^2VarX \\Var(X\pm Y)=VarX+VarY \pm 2E[(X-EX)(Y-EY)] \end{cases}
于是, 求一下样本的方差\begin{equation}\begin{split} \sigma_{样本}^2&=\frac1n \sum_{i=1}^n(x_i-\overline{x})^2 \\ &=\frac1n\sum_{i=1}^n[(x_i-\mu)+(\mu-\overline{x})]^2\\ &=\frac1n\sum_{i=1}^n(x_i-\mu)^2+\frac2n\sum_{i=1}^n(x_i-\mu)(\mu-\overline{x})+\frac1n\sum_{i=1}^n(\mu-\overline{x})^2\\ &=\frac1n\sum_{i=1}^n(x_i-\mu)^2+\frac2n(\mu-\overline{x})(x_1+x_2+...+x_n-n\mu)+\frac1n\sum_{i=1}^n(\mu-\overline{x})^2\\ &=\frac1n\sum_{i=1}^n(x_i-\mu)^2+\frac2n(\mu-\overline{x})(n\overline{x}-n\mu)+(\mu-\overline{x})^2\\ &=\frac1n\sum_{i=1}^n(x_i-\mu)^2-(\mu-\overline{x})^2\\ &=\frac1n\sum_{i=1}^n(x_i-\mu)^2-\frac1n\sum_{i=1}^n(\overline{x}-\mu)^2\\ &=\sigma_{理想}^2-\frac1n\sum_{i=1}^n(\overline{x}-\mu)^2 \end{split}\end{equation}
又因为
\begin{equation}\begin{split} \frac1n\sum_{i=1}^n(\overline{x}-\mu)^2 &=\frac1n\sum_{i=1}^n(\frac{x_1+x_2+...+x_n}{n}-\mu)^2\\ &=\frac1n\sum_{i=1}^n(\frac{x_1+x_2+...+x_n-n\mu}{n})^2\\ &=\frac1n\sum_{i=1}^n(\frac1n[(x_1-\mu)+(x_2-\mu)+...+(x_n-\mu)])^2\\ &=\frac1n[\frac1n\sum_{i=1}^n(x_i-\mu)^2]\\ &=\frac1n\sigma_{理想}^2 \end{split}\end{equation}
于是
\sigma_{样本}^2=\sigma_{理想}^2-\frac1n\sigma_{理想}^2=\frac{n-1}{n}\sigma_{理想}^2
即有
\sigma_{理想}^2=\frac{n}{n-1}\sigma_{样本}^2=\frac{n}{n-1}\frac1n\sum_{i=1}^n(x_i-\overline{x})^2=\frac{1}{n-1}\sum_{i=1}^n(x_i-\overline{x})^2
推导完毕.

上一篇下一篇

猜你喜欢

热点阅读