贝叶斯统计2

2018-12-27 本文已影响5人王阿根

首先看图了解likelihood，和先验概率，第二部分会对这些参数进行详细解释

1. 贝叶斯更新对违禁药物使用嫌疑的怀疑

第一次尿检：你之前很相信一位运动员，认为他不会使用违禁药品，或者使用违禁药品的概率非常低：P(使用禁药) = 0.001；药检的likelihood是较为公正的，如果使用了，那么0.95会呈阳性P(阳性|使用禁药)，但假阳性也比较高，即就算是清白的，也有0.1的概率会被显示成阳性P(阳性|清白)；这位运动员第一次尿检没有通过，你对他使用违禁药品的怀疑是多少？

分析：P(B=阳性|使用禁药) = 0.95，P(A=使用禁药) = 0.001，P(B=阳性|A=清白) = 0.1，P(A=清白)=0.999

那么通过贝叶斯公式开始计算：P(A=使用禁药|B=阳性) = $\frac{P(B=阳性|A=使用禁药)*P(A=使用禁药)}{P(B=阳性|A=使用禁药)*P(A=使用禁药) + P(B=阳性|A=清白)*P(A=清白)}$ = $\frac{0.95 * 0.001}{0.95 * 0.001+0.1*0.999}$ $\approx$ 0.009，那么现在后验估计P(A=使用禁药|B=阳性)的概率由之前的0.001变成了0.009。

为了验证他没有使用禁药于是乎做了第二次尿检：现在这位运动员是清白的概率P(A=使用禁药)=0.009；然而第二次尿检仍然没通过，相关的likelihood同第一次的likelihood相同；问题：第二次尿检没通过，你对他使用违禁药品的怀疑到了多少？

分析：P(B=阳性|使用禁药) = 0.95，P(A=使用禁药) = 0.009，P(B=阳性|A=清白) = 0.1，P(A=清白)=0.991

那么通过贝叶斯公式开始计算：P(A=使用禁药|B=阳性) = $\frac{P(B=阳性|A=使用禁药)*P(A=使用禁药)}{P(B=阳性|A=使用禁药)*P(A=使用禁药) + P(B=阳性|A=清白)*P(A=清白)}$ = $\frac{0.95 * 0.009}{0.95 * 0.009+0.1*0.991}$ $\approx$ 0.079，那么现在怀疑这个运动员使用禁药的概率：P(A=使用禁药) = 0.079。

你觉得这个概率很低，依旧相信他没有使用禁药，于是乎为了还他清白，他做了第三次尿检：现在你认为他的清白概率P(A=使用禁药|B=阳性) = 0.079，这次尿检仍旧没通过，问现在你对他的怀疑是多少？

分析：P(B=阳性|使用禁药) = 0.95，P(A=使用禁药) = 0.079，P(B=阳性|A=清白) = 0.1，P(A=清白)=0.921

那么通过贝叶斯公式开始计算：P(A=使用禁药|B=阳性) = $\frac{0.95 * 0.079}{0.95 * 0.079+0.1*0.921}$ $\approx$ 0.45.

这三次事件更新的是对事件的认知，不是事件本身。什么意思呢？意思就是该运动员服用了禁药就服用了，没服用就没服用，这个事件本身没有改变，改变的是你的认知，由最初相信他使用禁药的概率由0.001到0.009到0.079再到0.45。

总结：对于贝叶斯参数更新来说，不断增加的观测事件对参数更新有累计的效果，因为前一次获得的数据后得到了后验分布，可以成为下一次获得新数据后进行贝叶斯参数更新的先验分布。

2.更新后验估计

贝叶斯公式

参数解释：

P(A): 参数的先验分布，先验概率，先验估计，先验认识，先验信仰！P(B|A):在参数的先验概率成立的情况下，出现观测事件的概率；P(B)：任意情况下出现观测事件的概率；P(A|B): 后验概率，后验分布。出现观测事件后，参数概率的分布。对于贝叶斯参数更新来说，不断增多的观测事件对参数更新有累计效果，因为前一次获得数据后得到后验分布，可以成为下一次获得新数据后进行贝叶斯参数更新的后验分布。

看图了解先验分布怎么变成后验分布的：

那么假如先验分布和后验分布是同一种分布呢？比如正太分布，N( $\mu ,\delta ^2$ ),在经过贝叶斯变换后变成了N( $\mu +\mu _{0},\delta ^2+\delta _{0}^2$ ),规律的加在重要的参数上，那么下一次贝叶斯变换我们就可以直接在这个参数上做相应的操作了。那么这样的分布有没有呢？有的，接下来会讲到两个：二项分布和Beta分布。

3.Conjugate Distribution共轭分布

有了新的证据，在贝叶斯变化下，参数的先验分布和参数后验分布依然是同一个概率分布，那么新证据的分布和参数的分布就是共轭分布。二项分布和Beta分布是共轭分布。

P(A|B) = $\frac{P(B|A)*P(A)}{P(B)}$ :P(B|A)为likelihood，P(A)为先验分布，P(A|B)为后验分布，如果likelihood为二项分布，先验分布选为Beta分布，那么后验分布也会为Beta分布。共轭分布的意思就是在likelihood的影响下先验分布变成后验分布之后，后验分布和先验分布是同一类分布。

验证：

那么观察一下后验分布与先验分布的结果可知，后验分布的 $\alpha$ 是先验分布的 $\alpha +s$ ，后验分布的 $\beta$ 是先验分布的 $\beta +f$ 。那么likelihood是二项分布的前提，进行下一次的贝叶斯更新就可以不用通过繁琐的公式进行计算，直接对 $\alpha ，\beta$ 进行相应的加法操作就可以了，这就是共轭分布的厉害之处。