随机事件及其发生的概率-贝叶斯公式

2019-04-27 本文已影响91人微斯人_吾谁与归

参考教材
概率论与数理统计（陈希孺）
概率论与数理统计（茆诗松）
参考视频
中科大精品课程概率论与数理统计（廖柏其）

1.随机事件及其运算

1.1随机现象

随机现象：在一定条件下，并不是总出现相同结果的现象。如抛一枚硬币
随机试验：可以重复的随机现象。比如抛n次硬币。
基本结果W:随机现象的最简单的结果，它将是统计中抽样的基本单元，又称样本点。
样本空间：随机现象所有基本结果的全体。

1.2基本空间（样本空间）

随机现象的所有基本结果叫做这个随机现象的基本空间，又称样本空间。例如扔一枚骰子这一随机现象的样本空间是
$\Omega_{2}=\left\{\omega_{1}, \omega_{2}, \omega_{3}, \omega_{4}, \omega_{5}, \omega_{6}\right\}=\{1,2,3,4,5,6\}$
其中w1,w2....又称基本结果，又称样本点。样本空间可以是有限的，或者是无限的。也可以是离散的或者是连续的

1.3随机事件

随机现象的某些基本结果组成的集合称为随机事件，简称事件。如“扔一枚骰子，结果为偶数”是一个随机事件，踏实由样本点的集合{2,4,6}组成。
随机事件的几个特征
1. 任意一个事件A都是相应基本空间的一个子集。
2. 事件A发生当且仅当A中某一基本结果发生
3. 事件A可以用集合表示也可以用语言描述，但是要确保无歧义。

1.4必然事件与不可能事件

必然事件：一个随机现象的基本空间的最大子集（基本空间本身）称为必然事件。如扔一枚骰子，其结果不超过6。
不可能事件：一个随机现象的基本空间的最小子集（空集）称为不可能事件。如扔一枚骰子，其结果为7。

1.5事件间的关系

包含：同一试验中的两个事件A与B,若事件A中的基本结果必包含在B中，则称A被B包含，或是B包含A.

如扔一枚骰子，事件A为结果为4，事件B为结果为偶数。记为：
$A \subset B$
维恩图：

快照2.png

相等：同一试验中的两个事件A与B,若事件A中的基本结果与时间B的基本结果相同。如扔两枚骰子，结果记为（x,y），事件A为x+y为奇数，事件B为x,y奇偶性不同。
互不相容（互斥）：同一试验中的两个事件A与B,若事件A与事件B没有相同的基本结果。两个事件的互不相容可以多个事件的互不相容。

维恩图：

快照3.png

1.6事件的运算

对立事件

快照4.png

事件的并

快照5.png

事件的交

快照6.png

事件的差：A与B的差由在A中但是不在B中的基本结果组成。

快照8.png

事件的交于并的推广

快照9.png

2.事件的概率

2.1事件的概率

随机事件的发生具有偶然性的，但是随机事件发生的可能性还是有大小之别，如扔一枚硬币正面向上的可能与扔一枚骰子结果为6的可能性大小不相同。我们使用比率来衡量这种可能性。

概率的公理化定义：在随机现象中，用来表示任一随机事件A发生的可能性大小的实数（既比率）称为该事件的概率，记为P(A)，并规定：

非负性公理：对任意事件A,P(A)>=0
正则性公理：必然事件的概率为1
可加性公理：若A与B 是互不相容事件，则有

$P\left(A_{1} \cup A_{2}\right)=P\left(A_{1}\right)+P\left(A_{2}\right)$

除了概率的公理化定义，还曾经存在概率的古典定义、概率的统计定义、概率的主观定义等。

2.2排列与组合概要

乘法原理：如果某个事件需要K个步骤完成，第i个步骤有Mi个方法（0<i<=K）,那么完成这件事共有M1* M2...Mk个方法
加法原理：如果某个事件需要K类方法可以完成，第i个步骤有Mi个方法（0<i<=K）,那么完成这件事共有M1+M2+...+Mk个方法
排列：从n个不同的元素中任意选取r（r<=n）个元素排成一排，按乘法原理，此排列共有以下种情况。

$n \times(n-1) \times \cdots \times(n-r+1)$

若n=r则称为全排列

重复排列：从n个不同元素中每次取出一个，放回后再取下一个，如果连续取r次，所得的排列为重复排列，这种重复排列的个数是
$n^{r}$
且r不存在范围限制。
组合：从n个不同元素中任取r个组成一组（不考虑顺序）称为一个组合，按乘法原理，这种组合总数为

$\left( \begin{array}{l}{n} \\ {r}\end{array}\right)=\frac{P_{n}^{r}}{r !}=\frac{n(n-1) \cdots(n-r+1)}{r !}=\frac{n !}{r !(n-r) !}$

这个式子还是二项式展开式的系数，
$(a+b)^{n}=\sum_{r=0}^{n} \left( \begin{array}{l}{n} \\ {r}\end{array}\right) a^{r} b^{n-r}$
若令a=1,b=1,可以得到一个重要的组合公式：
$\left( \begin{array}{l}{n} \\ {0}\end{array}\right)+\left( \begin{array}{l}{n} \\ {1}\end{array}\right)+\dots+\left( \begin{array}{l}{n} \\ {n}\end{array}\right)=2^{n}$

重复组合：从n个不同元素每次抽取一个，放回然后再取下一个，如此连续取r次得到的组合成为重复组合。此种组合的总数为
$C_{n+r-1}^{r}$

2.3古典方法

基本思想：

样本空间有限
基本结果等可能
概率P(A)=K/N

2.4 频率方法

基本思想：

多次独立重复实验

2.5主观方法

基本思想：

个人经验等

3.概率的性质

$P(\overline{A})=1-P(A)$

$P(\phi)=1-P(\Omega)=0$

对于n各互不相容事件Ai有
$P\left(\bigcup_{i=1}^{n} A_{i}\right)=\sum_{i=1}^{n} P\left(A_{i}\right)$

若事件A包含事件B,则
$\begin{array}{l}{(1) P(A-B)=P(A)-P(B)} \\ {(2) P(A) \geqslant P(B)}\end{array}$

对任意事件A与B

$\begin{array}{l}{(1) P(A \cup B)=P(A)+P(B)-P(A B)} \\ {(2) P(A \cup B) \leqslant P(A)+P(B)}\end{array}$

对任意三个事件A、B、C有

$\begin{aligned}(1) P(A \cup B \cup C)=& P(A)+P(B)+P(C) \\ &-P(A B)-P(A C)-P(B C)+P(A B C) \\(2) P(A \cup B \cup C) \leqslant P(A)+P(B)+P(C) \end{aligned}$

4.独立性

4.1两个事件之间的独立性

对任意两个事件A与B,若P(AB)=P(A)P(B),则称A,B相互独立，否则称A与B不独立。
若事件A与事件B独立，则事件A与B的对立事件也独立

4.2多个事件的独立性

三个事件独立：首先事件两两独立，

$\begin{aligned} P(A B) &=P(A) P(B) \\ P(A C) &=P(A) P(C) \\ P(B C) &=P(B) P(C) \end{aligned}$

再加上：
$P(A B C)=P(A) P(B) P(C)$
则三个事件独立

多个事件独立：n个事件 A 1 ...An,假若对所有的1<=i<j<k<...<=n,以下等式均成立：

$\begin{array}{l}{P\left(A_{i} A_{j}\right)=P\left(A_{i}\right) P\left(A_{j}\right)} \\ {P\left(A_{i} A_{j} A_{k}\right)=P\left(A_{i}\right) P\left(A_{j}\right) P\left(A_{k}\right)} \\ {\vdots} \\ {P\left(A_{1} A_{2} \cdots A_{n}\right)=P\left(A_{1}\right) P\left(A_{2}\right) \cdots P\left(A_{n}\right)}\end{array}$

称这n个事件彼此独立

将相互独立的时间的任意部分换成对立事件，所得的所有事件之间依然彼此独立。

4.3试验的独立性

进行n次不同的试验，E1,E2...En，这n个试验之间的结果相互独立，则称试验相互独立。

若这n次试验相同，如扔n次同一枚硬币，则这n次试验叫做n重独立重复试验

4.4 n重贝努力试验

贝努力试验：只有两个可能的结果，可重复；
n重贝努力试验：由n次相同的、独立的贝努力试验组成的随机试验称为n重贝努力试验。例如重复扔五次硬币。

在n重贝努力试验中，成功的次数成为人们最关心的信息，记
$B_{n, k}=“n重贝努力中A出现K次”$
那么
$P \left(B_{n, k}\right)=\left( \begin{array}{l}{n} \\ {k}\end{array}\right) p^{k}(1-p)^{n-k}$
K可能的取值是0，1,2...n

5.条件概率

5.1条件概率

条件概率的定义：设A与B是基本空间中的两个事件，且P(B)>0,在事件B已发生的条件下P(A/B)定义为P(AB)/P(B),即
$P(A | B)=\frac{P(A B)}{P(B)}$

如何理解条件概率：举个例子，两家工厂同时生产同一种零件，作为试验随机抽取了25个零件作为样品，具体见一下二维表：事件A表示生产厂商为1，事件B表示有缺陷

	无缺陷	有缺陷
生产厂1	10	5
生产厂2	8	2

如何求当已知事件B发生的情况下，事件A再发生的概率是多少？

事件B发生的概率是7/25,事件B发生表示B的对立事件是不能能发生了，因此有十八种基本结果应该从基本空间中剔除，考虑剩余的7种基本结果，这意味着B的发生改变了基本空间，这时事件A发生占剩余基本空间的5/7.其实5种基本结果也是A,B同时发生的所有情况。可以得到
$P(A | B)=\frac{N(A B)}{N(B)}=\frac{N(A B) / N(\Omega)}{N(B) / N(\Omega)}=\frac{P(A B)}{P(B)}$

5.2条件概率的性质

条件概率满足的三条公理：

(1)非负性： ${P(A | B) \geqslant 0}$
(2)正则性： ${P(\Omega A_i| B)=1}$
(3)可加性： $加入事件A1与A2互不相容，且P(B)>0,则 P\left(A_{1} \cup A_{2} | B\right)=P\left(A_{1} | B\right)+P\left(A_{2} | B\right)$

乘法公式：对任意两个事件A与B,有
$P(A B)=P(A | B) P(B)=P(B | A) P(A)$

独立性定理：加入事件A与事件B独立，且P(B)>0,则

$P(A | B)=P(A)$

反之亦然。

一般乘法公式：对于任意三个事件A1,A2,A3有
$P\left(A_{1} A_{2} A_{3}\right)=P\left(A_{1}\right) P\left(A_{2} | A_{1}\right) P\left(A_{3} | A_{1} A_{2}\right)$

其中P(A1A2)>0

5.3全概率公式

设A与B是任意两个事件，假如0<P(B)<则

$P(A)=P(A | B) P(B)+P(A | \overline{B}) P(\overline{B})$

设B1,B2,B3...是基本空间的一个分割，则对任一事件A有
$P(A)=\sum_{i=1}^{n} P\left(A | B_{i}\right) P\left(B_{i}\right)$

5.4贝叶斯公式

从全概率公式可以推出一个著名的公式，贝叶斯公式：

贝叶斯公式：

设事件B1,B2,B3...Bn是基本空间的一个分割，且它们各自的概率P(B1),P(B2)...P(Bn)均是正，有设它们各自的概率是P(Bi).

A是基本空间的一个事件，P(A)>0,且在诸Bi给定的事件A的条件概率为P(A/B1),P(A/B2),P(A/B3)...P(A/Bn)可以的到在A给定条件下，事件Bk发生的条件概率是：
$P\left(B_{k} | A\right)=\frac{P\left(A | B_{k}\right) P\left(B_{k}\right)}{\sum_{i=1}^{n} P\left(A | B_{i}\right) P\left(B_{i}\right)}, \quad k=1,2, \cdots, n$