刘嘉《概率论》25

贝叶斯推理：机器学习为什么需要大量信息

一切概率本质上都是条件概率。具体来说，概率问题可以分为以下两类：

第一类：我们知道原因，要去推测某个现象。比如抛硬币、掷骰子的问题。这类概率问题叫做正向概率问题。

第二类：看到一些现象，要去推测背后的原因。这类问题被叫作逆概率问题。生活中，逆概率问题也非常多。比如一个人发烧了，要推测他发烧的原因到底是感冒还是其他的，这就是逆概率问题。

贝叶斯推理的基本逻辑：根据新信息不断调整对一个随机事件发生概率的判断。这种思维方式非常多见，比如医生看病、侦探断案等。

概率是对信心的度量。在贝叶斯的世界里，概率本质上是对信心的度量，是我们对某个结果相信程度的一种定量化的表述。

生活中，我们说的很多概率，其实表达的都是我们对某个结果的相信程度。比如，看球赛的过程，就是随着场上局势不断变化，观众对比赛结果和某支球队信心不断调整的过程。

效果随机也分为两类：一类是完全信息的随机性，第二类是非完全信息的随机性，也就是我们因为缺乏信息而不了解的随机性。

完全信息的随机性，是指这类随机事件在任何人看来都是随机的。

第二类非完全信息的随机性，是指对一个事件，不同人了解到的信息是不同的，因此这个事件对不同人来说是不一样的。