【机器学习】贝叶斯概率思维笔记

2018-10-27 本文已影响0人 Pytorch小生

课程来源

知乎live-贝叶斯概率思维

前言

规则VS统计

基于规则的理性主义：如专家系统
基于统计的经验主义：如贝叶斯
基于规则需要专业知识体系，容易定义，但通用性不高。
基于统计则需要数据，并且相关性容易造成误导。
规则-演绎（柯南破案）
经验-归纳（神农尝百草）

贝叶斯思维

频率派VS贝叶斯派

频率派

通过长期、大量、重复实验：发生的频率（大数定律）
参数是常数
概率是客观存在的常数

贝叶斯派

信则有，不信则无
参数是随机变量

贝叶斯概率

先验概率：P(A)
后验概率：P(A|B)（已知B的前提下对A的信念）

贝叶斯定理

贝叶斯定理：
$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$
已知先验，计算后验

通俗解释

问题：白马上坐着的不一定是王子，还可能是唐僧。那么，如何确定是王子还是唐僧。
P(A): 已知白马上坐着的可能是王子，也可能是唐僧。
P(B|A): 坐着的是王子时，后边大概率跟着的是仪仗队。如果是唐僧，后边跟着的大概率是三个徒弟。这样就可以根据白马后的场景（P(B)）来判断白马上坐的是谁（P(A|B)）

频率派和贝叶斯派的比较

对于一种病来说，如果药物对病症的有效率有95%，但是对非病者有5%的中毒率，那频率派认为这个药是可以使用的。但是如果这个病是罕见病，则贝叶斯定理会得出一个很小的数。因为P(A)太低了。对正常人来说，虽然中毒率低，但是基数过大，因此对最后结果有很大的影响。

贝叶斯估计

最大似然估计

最大似然估计（频率派思维）
参数： $parameter = {\theta}$
数据: $D = \{d_1,d_2....d_n\}$
$\mathop{\arg\max}_{\theta}p(\theta|D)\Leftrightarrow \mathop{\arg\max}_{\theta}p(D|\theta)$
$likelihood = \mathop{\arg\max}_{\theta}p(D|\theta)$
当你已知一组数据时，要去分析参数是多少，才能使这组数据出现的概率最大。就叫最大似然估计。
这属于频率派思维，但是它没有考虑数据D出现的概率是多少。

最大后验估计

最大后验估计（MAP）（贝叶斯派）（如果知道先验概率）
$\mathop{\arg\max}_{\theta}p(\theta|D)\Leftrightarrow \mathop{\arg\max}_{\theta}p(D|\theta)p(\theta)$
需要考虑先验概率 $p(\theta)$
像是在最大似然估计上加一个修正项。有一些贝叶斯的思想

贝叶斯估计

最大后验估计还不是纯正的贝叶斯思维，如果按照贝叶斯定理，则
$p(\theta|D) = \frac{p(D|\theta))p(\theta}{\int p(D,\theta)d\theta}$
贝叶斯估计公式：
$p(\hat{y}|x^*,D) = \int_{\theta}p(\hat{y}|x^*,\theta)p(\theta|D)d\theta$
(积分理解成求和，可以连续可以离散)
贝叶斯适合解决数据不平衡的问题

总结

最大似然估计对数据量需求最大，因为没有任何先验知识的修正，但是也会因此导致过拟合。
最大后验估计和贝叶斯估计有先验知识的修正，所以对数据量需求不大。但是坏处是需要好的先验知识。

贝叶斯网络

与神经网络没有关系，和概率图模型更接近。

涉及名词

达特茅斯会议
Alpha-go 蒙特卡洛树搜索【基于统计的概率计算】
拉斯维加斯算法
马尔科夫性
隐式马尔可夫链

【机器学习】贝叶斯概率思维笔记

课程来源

目录

前言

规则VS统计

贝叶斯思维

频率派

贝叶斯派

贝叶斯概率

贝叶斯定理

通俗解释

频率派和贝叶斯派的比较

贝叶斯估计

最大似然估计

最大后验估计

贝叶斯估计

总结

贝叶斯网络

推荐书籍

涉及名词

猜你喜欢

热点阅读