概率论之随机变量及其概率分布

2019-06-13 本文已影响0人微斯人_吾谁与归

离散随机变量及其概率分布

一.随机变量

1.1随机变量

随机变量：假如一个变量在数轴上的取值依赖随机现象的基本结果，则称此变量为随机变量，常用大写字母X,Y,Z等表示，其取值用小写字母想，x,y,z等表示。假如一个随机变量仅数轴上的有限个或可列个孤立点，则称此随机变量为离散随机变量。假如一个随机变量的可能取值充满数轴上的一个区间（a,b），此变量称为连续随机变量。
离散随机变量常与计数过程联系在一起，而连续随机变量常与测量过程联系在一起。

1.2随机变量的概率分布

分布函数：
- 定义：设X为一个随机变量对任意实数x,事件“X<=x”的概率是x的函数，记为

$F(x)=P(X \leqslant x)$

这个函数称为X的累计概论分布函数，简称分布函数

性质：
1. 0 $\leqslant F(x) \leqslant 1$
2. $F(-\infty)=\lim _{x \rightarrow-\infty} F(x)=0$
3. $F(+\infty)=\lim _{x \rightarrow+\infty} F(x)=1$
4. F(x)是非降函数
5. F(x)是右连续函数

1.3概率分布的可列可加性公理

若A1,A2...是一系列互不相容事件，则有

$P\left(\bigcup_{n=1}^{\infty} A_{n}\right)=\sum_{n=1}^{\infty} P\left(A_{n}\right)$

二.离散随机变量

2.1离散随机变量的分布列

设X是离散随机变量，它的所有可能取值是x1,x2,...xn,...,假如X取xi的概率为

$P\left(X=x_{i}\right)=p\left(x_{i}\right) \geqslant 0, \quad i=1,2, \cdots, n, \cdots$

且满足一下条件
$\sum_{i=1}^{\infty} p\left(x_{i}\right)=1$
则称这组概率{P(xi)}为该随机变量X的分布列，或X的概率分布，

X	$x_1$	$x_2$	$x_3$	...	$x_k$	...
P	$p_1$	$p_2$	$p_3$	...	$p_k$	...

此外若果X是离散随机变量，已知X的分布列，容易写出X的分布函数，离散随机变量使用分布列更加方便，此外还可以使用线条图和直方图
$F(x)=\sum_{x_{i} \leqslant x} p\left(x_{i}\right)$

2.2离散随机变量的数学期望

分赌本问题:数学期望起源于分赌本问题，十七世纪中叶，一位赌徒向法国数学家帕斯卡（1623-1662）提出一个使他苦恼长久的分赌本问题：甲乙两位赌徒相约，用掷硬币进行赌博，谁先赢三次就得到全部赌博100法郎，当甲赢了两次，乙赢了一次，他们都不愿意继续下去，问此时赌本应该如何分割？
离散随机变量的数学期望：设离散随机变量X的分布列为

$P=\left(X=x_{i}\right)=p\left(x_{i}\right), \quad i=1,2, \cdots, n$

则X的数学期望为
$E(X)=\sum_{i=1}^{n} x_{i} p\left(x_{i}\right)$
若无穷级数存在，即数学期望存在，若无穷级数不收敛，即该随机变量X的数学期望不存在

2.3二项分布

定义：设X为贝努力试验中成功的次数，则X的可能取值是0,1,2,3...他们取这些值的概率为

$P(X=x)=\left(\begin{array}{l}{n} \\ {x}\end{array}\right) p^{x}(1-p)^{n-x}, \quad x=0,1, \cdots, n$

由二项式定理可知，上述n+1个概率之和是1，这个概率分布称为二项分布，记为b(n,p),它被n（正整数）和p（ $p(0<p<1)$ ）确定。

数学期望：

$\begin{aligned} E(X) &=n p \sum_{x=1}^{n} \left( \begin{array}{c}{n-1} \\ {x-1}\end{array}\right) p^{x-1}(1-p)^{n-x} \\ &=n p \sum_{x=0}^{n} \left( \begin{array}{c}{n-1} \\ {x}\end{array}\right) p^{x}(1-p)^{n-1-x} \\ &=n p[p+(1-p)]^{n-1} \\ &=n p \end{aligned}$

图像：若p=0.5,有 $p(y)=p(n-y)$ ,意味着此种二项分布的概率直方图是对称的；当p<0.5时，称为正偏；当p>0.5时称为负偏。
快照10.png

计算困难问题：当n较大时，P(X<x)计算繁琐

2.4泊松分布

在二项分布b(n,p)中，当n很大，p很小的时候，计算复杂。

若相对的来说，n大，p小，而乘积n*p大小适中，二项公式有一个很好的近似公式，泊松定理。

泊松定理：在n重贝努力试验中，以Pn表示在一次试验中成功发生的概率。且随着n增大，Pn减小。若n趋于无穷时有，
$\lambda_{n}=np_{n}$ , $\rightarrow\lambda$

此时 $\left( \begin{array}{l}{n} \\ {x}\end{array}\right) p_{n}^{x}\left(1-p_{n}\right)^{n-x} \rightarrow \frac{\lambda^{x}}{x !} e^{-\lambda} \quad(n \rightarrow \infty)$

这个式子的使用条件要求n大，p小，np适中。

快照1.png

泊松分布：

$P(X=x)=\frac{\lambda^{x}}{x !} e^{-\lambda}, \quad x=0,1, \cdots,其中\lambda>0$

p大于0,且和为1.，记为 $P X \sim P(\lambda)$

根据泰勒展开式可得： $\sum_{x=0}^{\infty} \frac{\lambda^{x}}{x !} e^{-\lambda}=e^{-\lambda} \sum_{x=0}^{\infty} \frac{\lambda^{x}}{x !}=e^{-\lambda} \cdot e^{\lambda}=1$
数学期望：数学期望就是泊松分布的参数

$\begin{aligned} E(X) &=\sum_{x=0}^{\infty} x \cdot \frac{\lambda^{x}}{x !} e^{-\lambda} \\ &=\dot{\lambda} e^{-\lambda} \sum_{x=1}^{\infty} \frac{\lambda^{x-1}}{(x-1) !}=\lambda \end{aligned}$

泊松分布的使用：

泊松分布是常用的离散随机变量之一，现实世界有许多随机变量可以直接使用泊松分布描述。例如一定时间内，电话总站接错电话的次数；一定时间内，超级商场排队等候付款的顾客人数；一定时间

内在车站等候公共汽车的人数；100页书上的的错别字字数。可以发现泊松分布与计数过程相关，并且在一定时间内、一定区域内、一定特定单位内的前提下进行的。

2.5超几何分布

对一个有限总体进行不放回抽样常会遇到超几何分布

超几何分布：
image.png

2.6负二项分布

2.7几何分布

几何分布定义：若X的概率分布满足 $P(X=k)=p(1-p)^{k-1},k=1,2,3,...$ ,其中 $0<p<1$ 称X服从参数为p的几何分布 $(Geometric)$ ,记为 $X~Geom(p)$
几何分布的用途：在重复多次的贝努力试验中，试验进行到某种结果出现第一次为止，此时的试验次数服从几何分布。例如：射击，首次击中目标时射击的次数。

三.连续随机变量

3.1连续随机变量的概率密度函数

定义：设 $p(x)$ 是定义在整个实数轴上的一个函数，假如它满足如下两个条件：
1. $p(x) \geqslant 0$ （非负）
2. $\int_{-\infty}^{\infty} p(x) d x=1$
则称 $p(x)$ 是概率密度函数，或密度函数，有时还简称密度
- 对于任意两个实数 $a$ 与 $b$ ,若 $a<b$ ，且 $a$ 可为 $-\infty$ ， $b$ 可为 $+\infty$ ，X在区间 $[a,b]$ 上取值的概率为曲线 $p(x)$ 在该区间上曲边梯形的面积，即 $P(a \leqslant X \leqslant b)=\int_{a}^{b} p(x) d x$ 。则称密度函数 $p(x)$ 是随机变量 $X$ 的密度函数。
例子：
- 均匀分布：
- 指数分布： $p(x)=\left\{\begin{array}{cc}{\lambda e^{-\lambda x},} & {x \geqslant 0} \\ {0,} & {x<0}\end{array}\right.$

3.2连续随机变量的分布函数

定义: 连续随机变量的分布函数 $F(x)$ 可以用其密度函数 $p(x)$ 表示出来，即对任意实数 $x$ ,
$F(x)=P(X \leqslant x)=\int_{-\infty}^{x} p(x) d x$
这些积分总是存在的，其中有些可以积出来，用初等函数表示出来，有些积不出来，只能用积分表示。
性质：
1. 连续随机变量 $X$ 的分布函数 $F(x)$ 是直线上的连续函数
2. 连续随机变量仅取一点的概率为零，。
  - 在概率论中，概率为零的事件称为零概率事件，它与不可能事件有区别，不可能事件是零概率事件，零概率事件不是不可能事件。
3. 对连续随机变量 $X$ 和任意实数 $a$ 与 $b(a<b)$ 有 $\begin{aligned} P(a \leqslant X \leqslant b) &=P(a \leqslant X<b) \\ &=P(a<X \leqslant b)=P(a<X<b) \end{aligned}$
4. 设和分别是连续随机变量的分布函数与密度函数，则在导数存在的点上有。
  - 对于导数不存在的点 $p(x)$ 可以是任意常数，因为有限个点改变密度函数值不会影响相应的分布函数。

3.3随机变量函数的分布

定理：设已知随机变量 $X$ 服从函数为 $F_{X}(x)$ 和密度函数为 $p_X(x)$ ,又设 $Y=g(X)$ ,其中函数 $g(.)$ 是严格单调函数，且导数 $g'(.)$ 存在，则 $Y$ 的密度函数为 $p_{Y}(y)=p_{X}(h(y))\left|h^{\prime}(y)\right|$ 。

其中 $h(y)$ 是 $y=g(x)$ 的反函数， $h'(y)$ 是其导数。

3.4连续随机变量的数学期望

设连续随机变量 $X$ 有密度函数 $p(x)$ ,如果积分 $\int_{-\infty}^{\infty}|x| p(x) d x$ 有限，则称 $E(X)=\int_{-\infty}^{\infty} x p(x) d x$ 为 $X$ 的数学期望，简称期望，期望值或均值。如果积分无限，那么 $X$ 的数学期望不存在。
例子：
- 均匀分布的数学期望： $E(X)=\frac{a+b}{2}$
- 指数分布的数学期望: $E(X)=\int_{-\infty}^{\infty} x p(x) d x=\int_{0}^{\infty} \lambda x e^{-\lambda x} d x\int_{0}^{\infty} e^{-\lambda x} d x=-\frac{1}{\lambda}\left.e^{-\lambda x}\right|_{0} ^{\infty}=\frac{1}{\lambda}$
- 柯西分布的数学期望:密度函数 $p(x)=\frac{1}{\pi\left(1+x^{2}\right)}, \quad-\infty<x<\infty$ ， $\frac{1}{\pi} \int_{-\infty}^{\infty} \frac{|x|}{1+x^{2}} d x$ 积分不存在所以数学期望不存在

3.5正态分布

定义：密度函数为 $p(x)=\frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{(x-\mu)^{2}}{2 \sigma^{2}},}, \quad-\infty<x<\infty$ 的分布称为正态分布，其分布函数用如下积分表示 $F(x)=\frac{1}{\sqrt{2 \pi} \sigma} \int_{-\infty}^{x} e^{-\frac{(x-\mu)^{2}}{2 \sigma^{2}}} d x, \quad-\infty<x<\infty$ ，它含有两个参数 $\mu$ 和 $\sigma$ : $-\infty<\mu<\infty, \sigma>0$ ,记为 $N\left(\mu, \sigma^{2}\right)$
- 正态分布曲线是一条钟形曲线：中间高、两边低、左右对称。
- 快照2.png

应用背景：
1. 很多现象可以使用正态分布描述或近似
  - 测量误差可以使用正态分布描述
  - 同龄人的身高体重分别是正态分布变量
  - 凡人的年输入可以近似正态分布描述
  - 一个地区的年降雨量是正态分布
  - 超级市场一周售出的鸡蛋重量是正态分布
2. 许多分布可以用正态分布近似计算，中心极限定理表明，在一定条件下，很多随机变量的叠加都可以用正态分布近似
3. 正态分布可以导出一些可用的分布，如统计中的三大分布： $\chi^{2}$ 分布， $t$ 分布， $F$ 分布都是从正态分布导出的。
数学期望
- 设 $X \sim N\left(\mu, \sigma^{2}\right)$ ，则 $E(X)=\mu$
证：在 $E(x)$ 的积分表达式中作变换 $\boldsymbol{z}=(x-\mu) / \sigma$ ，可得

$\begin{aligned} E(X) &=\frac{1}{\sqrt{2 \pi \sigma}} \int_{-\infty}^{\infty} x e^{-\frac{(x-\mu)}{2 \sigma^{2}}} d x \\ &=\frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{\infty}(\sigma z+\mu) e^{-\tau^{2} / 2} d z \\ &=\frac{1}{\sqrt{2 \pi}}\left[\sigma \int_{-\infty}^{\infty} z e^{-x^{2} / 2} d z+\mu \int_{-\infty}^{\infty} e^{-x^{2} / 2} d z\right] =\mu\end{aligned}$
- 从这个证明中我们可以明确知道第一个参数 $\mu$ 的概率含义，他就是数学期望，第二个参数是标准差（证明在下面）。数学期望是分布的中心位置， $\sigma$ 是标准差，它表示正态分布在其期望值 $\mu$ 的集中和分散程度。 $\sigma$ 愈小分布愈集中，正态曲线呈高而瘦； $\sigma$ 愈大，分布愈分散，正态曲线呈矮而胖。
- 快照3.png

标准正态分布
- 期望值为0标准差为1的正态分布 $N(0,1)$ 称为标准正态分布，相应的随机变量叫做标准正态分布变量。其密度函数用 $\phi(u)$ 表示。分布函数用 $\Phi(u)$ 表示，即
  
  $\phi(u)=\frac{1}{\sqrt{2 \pi}} e^{-u^{2} / 2}, \quad-\infty<u<\infty$
  $\Phi(u)=\frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{u} e^{-x^{2} / 2} d x, \quad-\infty<u<\infty$
- 对于标准正态分布，对于任意实数 $\mu$ ,有 $\Phi(-u)=1-\Phi(u)$ 。也可以从图像得出。
正态分布的线性变换

当 $X \sim N\left(\mu, \sigma^{2}\right)$ 时， $U=\frac{X-\mu}{\sigma}$ 的密度函数为 $p_{v}(u)=p_{X}(\mu+\sigma u) \cdot \sigma=\frac{1}{\sqrt{2 \pi}} e^{-u^{2} / 2}=\phi(u)$

这表明，当 $X \sim N\left(\mu, \sigma^{2}\right)$ 时， $U=(X-\mu) / \sigma$ 是标准正态变量。上述计算结果表明，任一正态变量经过标准化之后都是标准正态变量。
正态分布的计算
1. 设 $X \sim N\left(\mu, \sigma^{2}\right)$ ，则 $F(a<X<b)=\Phi\left(\frac{b-\mu}{\sigma}\right)-\Phi\left(\frac{a-\mu}{o}\right)$
  
  证明：
$P(a<X<b)$
$=P\left(\frac{a-\mu}{\sigma}<U<\frac{b-\mu}{\sigma}\right)$
$=p\left(U<\frac{b-\mu}{\sigma}\right)-P\left(U \leqslant \frac{a-\mu}{\sigma}\right) \\$
= $\Phi\left(\frac{b-\mu}{\sigma}\right)-\Phi\left(\frac{a-\mu}{\sigma}\right)$
1. 设 $X \sim N\left(\mu, \sigma^{2}\right)$ ，
  
  $\begin{aligned} P(|X-\mu|<k \sigma) &=\Phi(k)-\Phi(-k) \\ &=2 \Phi(k)-1 \end{aligned}$
  
  可见正态分布 $X$ 的取值位于均值 $/mu$ 附近的密集程度可以用标准差 $\sigma$ 为单位来度量
  快照113.png

设 $X \sim N\left(\mu, \sigma^{2}\right)$ ，若知 $P(X<c)=p$ ，可知

$\Phi\left(\frac{c-\mu}{\sigma}\right)=p$

$\frac{c-\mu}{\sigma}=\Phi^{-1}(p)$
$c=\mu+\sigma \Phi^{-1}(p)$

因为正态分布的分布函数是一个严格增函数，所以其反函数 $\Phi^{-1}(x)$ 存在。
设 $X \sim N\left(\mu, \sigma^{2}\right)$ ，若知 $P(|x-\mu|<c \sigma)=p$ ，求 $c$ .

$2 \Phi(c)-1=p, \Phi(c)=(1+p) / 2$
$c=\Phi^{-1}((1+p) / 2)$

3.6伽玛分布

3.7贝塔分布

四.方差

4.1随机变量函数的数学期望

$在离散场合在连续场合E(X)=\left\{\begin{array}{l}{\sum_{i} x_{i} p(x)} 在离散场合\\ {\int_{-\infty}^{\infty} x p(x) d x} 在连续场合 \end{array}\right.$
设随机变量 $X$ 及其函数 $g(X)$ 的数学期望都存在，则有 $离散连续E[g(X)]=\left\{\begin{array}{l}{\sum_{i} g\left(x_{i}\right) p\left(x_{i}\right)}离散 \\ {\int_{-\infty}^{\infty} g(x) p(x) d x}连续\end{array}\right.$

证明过于繁琐，略
设 $g(X)$ 为随机变量 $X$ 的函数， $c$ 为常数，则 $E[c g(X)]=c E[g(X)]$
设 $g(X)$ 和 $h(X)$ 是随机变量X的两个函数，则 $E[g(X) \pm h(X)]=E[g(X)] \pm E[h(X)]$
常数 $c$ 的数学期望等于 $c$ ,即 $E(c)=c$

4.2方差

定义：设随机变量 $X$ 的 $E(X^2)$ 存在，则称偏差平方的数学期望 $E(X-E(X))^2$ 为随机变量 $X$ 的方差，记为 $\operatorname{Var}(X)=E[X-E(X)]^{2}$ ，方差的正平方根称为随机变量 $X$ 的标准差，记为 $\sigma_{X}$
下面以离散随机变量的方差为例来说明方差的统计意义，，如果要保持方差较小，则和式中每一个乘积项都要很小。这将导致以下情况
1. 偏差 $x_{i}-E(X)$ 小，那么相应概率 $p(x_i)$ 可以大一点
2. 偏差 $x_{i}-E(X)$ 大，那么相应概率 $p(x_i)$ 必定小。
方差的量纲是随机变量 $X$ 量纲的平方，而标准差 $\sigma(X)=\sqrt{\operatorname{Var}(X)}$ 的量纲与 $X$ 的量纲相同，从而与数学期望 $E(x)$ 的量纲也相同，所以 $X,E(x),\sigma(X)$ 间的加减运算和比较大小就有实际意义了。如事件 $|X-E(X)| \leqslant k \sigma(X), \quad k=1,2,3, \cdots$ ，表明随机变量 $X$ 落在区间 $[E(X)-k \sigma(X), E(X)+k \sigma(X)]$ 内的概率。

4.3方差的性质

c为常数， $\operatorname{Var}(c)=0$
$\operatorname{Var}(a X+b)=a^{2} \operatorname{Var}(X)$
- 二项分布的方差（ $np(1-p)$ ）
- 均匀分布的方差( $(b-a)^2/12$ )
- 伽玛分布的方差( $\alpha / \lambda^{2}$ )

4.4切比雪夫不等式

定理：对任意随机变量 $X$ ，若 $E(X^2)$ 存在，则对任一正数 $\varepsilon$ , $P(|X-E X| \geqslant \varepsilon) \leqslant \frac{\operatorname{Var}(X)}{\varepsilon^{2}}$ .对于连续变量或离散变量都成立。
证明：

当连续时

$P(|X-E X| \geqslant \varepsilon)=\int_{|x-E X| \geq c} p(x) d x$

在此积分区域内，恒有 $(x-E X)^{2} / \varepsilon^{2} \geqslant 1$ ，可以将上述积分放大

$\int_{|x-E X| \geqslant \epsilon} p(x) d x\leqslant\frac{1}{\varepsilon^{2}} \int_{|x-E X| \geqslant 0}(x-E X)^{2} p(x) d x$

最后，再将上述右端积分限扩大到整个数轴上，则有

$P(|X-E X| \geqslant \varepsilon) \leqslant \frac{1}{\varepsilon^{2}} \int_{-\infty}^{\infty}(x-E X)^{2} p(x) d x=\frac{\operatorname{Var}(X)}{\varepsilon^{2}}$
在切比雪夫不等式中方差是起决定作用的，若方差 $Var(X)$ 较大，分布就较为分散；若方差 $Var(X)$ 较小，分布就较为集中
若 $\varepsilon$ 取为 $k$ 倍标准差，即 $\varepsilon=k \sigma(X)$ ,则切比雪夫不等式可以改写为一种常用形式 $P(|X-E(X)| \geqslant k \sigma(X)) \leqslant \frac{1}{k^{2}}$ ，其对立事件的概率为 $P(E(X)-k \sigma(X)<X<E(X)+k \sigma(X))>1-\frac{1}{k^{2}}$ 。