机器学习

样本方差为何除以n-1

2019-04-22  本文已影响6人  9933fdf22087

1.设样本均值为\bar{X} ,样本方差为S^2,总体均值为\mu ,总体方差为\sigma^2,那么样本方差S^2的公式为:S^{2}=\frac{1}{n-1} \sum_{i=1}^{n}\left(x_{i}-\overline{X}\right)^{2}

2.概率补充

(1)为何样本均值的方差等于总体方差除以总体单位数?

答:设X为随机变量,X1,X2,...,Xn为其n个样本,D(X)为方差。根据方差的性质,有D(X+Y)=DX+DY,以及D(kX)=k^2*D(X),其中X和Y相互独立,k为常数。于是有D(\frac{\sum\nolimits_{i=1}^nX_i}{n} )=D(\sum\nolimits_{i=1}^n \frac{X_i}{n})=\frac{\sum_{i=1}^{n}D(X_i)}{n^2} =\frac{1}{n}D(X)

3.公式证明

假设样本方差的公式为:S_{1}^{2}=\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2} ,有

E\left(S_{1}^{2}\right)=\frac{1}{n} \sum_{i=1}^{n} E\left(\left(X_{i}-\overline{X}\right)^{2}\right)=\frac{1}{n} E\left(\sum_{i=1}^{n}\left(X_{i}-\mu+\mu-\overline{X}\right)^{2}\right)                         =\frac{1}{n} E\left(\sum_{i=1}^{n}\left(\left(X_{i}-\mu\right)^{2}-2\left(X_{i}-\mu\right)(\overline{X}-\mu)+(\overline{X}-\mu)^{2}\right)\right)                           =\frac{1}{n} E\left(\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-2 \sum_{i=1}^{n}\left(X_{i}-\mu\right)(\overline{X}-\mu)+n(\overline{X}-\mu)^{2}\right)                     =\frac{1}{n} E\left(\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-2 n(\overline{X}-\mu)(\overline{X}-\mu)+n(\overline{X}-\mu)^{2}\right)                              =\frac{1}{n} E\left(\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-n(\overline{X}-\mu)^{2}\right)                                                                          =\frac{1}{n}\left(\sum_{i=1}^{n} E\left(\left(X_{i}-\mu\right)^{2}\right)-n E(\overline{(X}-\mu)^{2})\right)                                                                        =\frac{1}{n}(n \operatorname{Var}(X)-n \operatorname{Var}(\overline{X}))                                                                                            =\operatorname{Var}(X)-\operatorname{Var}(\overline{X})=\sigma^{2}-\frac{\sigma^{2}}{n}=\frac{n-1}{n} \sigma^{2}    样本方差有偏是因为样本均值相对总体有偏,在这种情况下,样本方差比总体方差小1/n个总体方差,所以分母为n-1即可做到无偏。

上一篇下一篇

猜你喜欢

热点阅读