贝叶斯法则

2019-09-29 本文已影响0人直接往二

1. 预备知识（条件概率）

1.1 条件概率定义公式

$P(A | B) = \frac{P(A\cap B)}{P(B)}$

1.2 条件概率的乘法定理（乘法规则）

$P(A | B) = \frac{P(A\cap B)}{P(B)} \Rightarrow P(A\cap B)=P(B)P(A|B)=P(A)P(B|A)$

2. 贝叶斯法则

2.1 介绍

$P(B|A) = \frac{P(B \cap A)}{P(A)}=\frac{P(A|B)P(B)}{P(A)}$
式子分母 $P(A)$ 可以看作普通变量，因为我们只关心在给定事件A的情况下可能发生事件B的概率， $P(A)$ 的值时确定不变的。故有

$argmax\frac{P(A|B)P(B)}{P(A)}=argmaxP(A|B)P(B)$

注：这里argmax的意思是求事后面的值最大的B的参数

2.2 事件A的概率计算方法

首先，根据乘法规则：
$P(A\cap B)=P(A|B)P(B)$
$P(A\cap \bar{B})=P(A|\bar{B})P(\bar{B})$

因此有：

$P(A)=P(A \cap B)+P(A \cap \bar{B})=P(A|B)P(B)+P(A|\bar{B})P(\bar{B})$

推广到一般形式，假设B事样本空间 $\Omega$ 的一个划分，即 $\sum_iB_i=\Omega$ 。如果 $A \subseteq\bigcup_{i}B_i$ ,并且 $B_i$ 互不相交，那么 $A=\sum_{i=1}B_iA$ ，于是 $P(A)=\sum_{i=1}P(B_iA)$ 。由乘法定理可得
$P(A)=\sum_i P(A|B_i)P(B_i)$ 该公式称为全概率公式。