(概率论基础5)切比雪夫不等式与三大定律

2019-05-04 本文已影响0人 To_QT

切比雪夫不等式

设随机变量 $X$ 具有数学期望 $E(X)=\mu$ ，方差 $D(X)=\sigma$ ，则有对于任意的整数 $\epsilon$ ，下列不等式成立：
$P\{ |X-\mu| \geq \epsilon\} \leq \frac{\sigma^2}{\epsilon^2} \tag{1.1}$

应用场景：在随机变量的分布未知，只知道 $E(X)$ 和 $D(X)$ 的情况下，用于估计概率 $P\left \{|X-E|<\epsilon \right \}$ 的界限。

大数定理

直观理解

“由频率收敛于概率”引申而来。设做了 $n$ 次独立试验后，每次观察某时间A是否发生，定义随机变量 $X_i, i=1,2,..., n$ ，在这 $n$ 次试验试验中，事件 $A$ 一共出现了 $X_1+X_2+X_3+...+X_n$ 次，则频率为：
$p_n = (X_1+X_2+...+X_n)/n = \overline{X_n} \tag{2.1}$
若 $P(A)=p$ ，则“频率趋于概率”，在某种意义下，当 $n$ 很大时，有 $p_n=p$ ，但 $p$ 就是 $X_i$ 的期望值。也可以理解成当 $n$ 很大时， $\overline{X_n}$ 接近于 $X_i$ 的期望值。

定义

设 $X_1, X_2, ..., X_n,...$ 是独立同分布的随机变量序列，且具有数学期望 $E(K_k) = \mu, k=1,2,...$ ，则对于任意的 $\mu>0$ ，有：
$\lim_{n \rightarrow \infty}P\{|\overline{X_n}-\mu|\geqslant \epsilon\}=0 \tag{2.2}$

辛钦大数定理

设随机变量 $X_1,X_2,...,X_n,...$ 独立同分布，且具有同一期望 $E(X)=\mu$ ，则序列 $\overline{X_n}=\frac{1}{n} \sum_{k=1}^{n}X_k$ 依概率收敛于 $\mu$ .

伯努利大数定理

设 $f_A$ 是 $n$ 次独立重复试验中事件 $A$ 发生的次数， $p$ 是事件A在每次试验中发生的概率，则对于任意的正数 $\epsilon$ ，都有
$\lim_{n \rightarrow \infty}P\left \{|\frac{f_A}{n}-p| \geqslant \epsilon \right \}=0 \tag{2.3}$

中心极限定理

定理一：设随机变量 $X_1, X_2, X_3, ... , X_n,..$ 独立同分布，且具有相同的数学期望 $E(X)=\mu$ 和方差 $D(X)=\sigma$ ，则有

$\begin{align} Y_n =& \frac{\sum_{k=1}^{n}X_k- E(\sum_{k=1}^{n}X_k) }{\sqrt{ D(\sum_{k=1}^{n}X_k )}}\\\\ =&\frac{\sum_{k=1}^{n}X_k - n\mu }{\sqrt{ n \sigma^2}} \tag{3.1 } \end{align}$

那么， $Y_n$ 的分布函数 $F_n(x)$ 对于任意 $x$ 满足：
$\begin{align} \lim_{n \rightarrow \infty}P\left \{\frac{\sum_{k=1}^{n}X_k - n\mu }{\sqrt{ n \sigma^2}} \leq x \right \}= \Phi(x) \tag{3.2} \end{align}$

也就是说，当随机变量 $X_1, X_2, X_3, ... , X_n,..$ 独立同分布，且具有相同的数学期望 $E(X)=\mu$ 和方差 $D(X)=\sigma$ 时，当 $n$ 充分大时，其标准化变量趋近于正态分布 $X \sim N(0, 1)$ 。

定理二：拉普拉斯定理

设随机变量 $\eta_n, n=1,2,...$ 服从参数为 $n, p(0<p<1)$ 的二项分布，则对于任意 $x$ ，有
$\begin{align} \lim_{n \rightarrow \infty}P\left \{\frac{\eta_n - np }{\sqrt{ np(1-p)}} \leq x \right \}= \Phi(x) \tag{3.2} \end{align}$

定理一和定理二其实是一样的，在二项分布中， $E(X)=np，D(X)=np(1-p)$

(概率论基础5)切比雪夫不等式与三大定律

切比雪夫不等式

大数定理

直观理解