频率学派与贝叶斯学派

2018-10-09 本文已影响0人 0过把火0

本次记录频率学派的主要思想与贝叶斯的区别，并给出贝叶斯公式

频率派把需要推断的参数θ看做是固定的未知常数，即概率虽然是未知的，但最起码是确定的一个值，同时，样本X 是随机的，所以频率派重点研究样本空间，大部分的概率计算都是针对样本X 的分布；

而贝叶斯派的观点则截然相反，他们认为参数是随机变量，而样本X 是固定的，由于样本是固定的，所以他们重点研究的是参数的分布。

贝叶斯的思考模式：

上述思考模式意味着，新观察到的样本信息将修正人们以前对事物的认知。换言之，在得到新的样本信息之前，人们对θ的认知是先验分布π（θ），在得到新的样本信息X后，人们对的认知为π（θ|X）。

先验知识一般来自人们的经验与历史信息，而后验分布一般被认作是给定样本X的情况下参数θ的分布，而使得后验概率达到最大值所对应的参数θ称之为最大后验估计，类似于极大似然估计。

上述公式的推导其实非常简单，就是从条件概率推出。

根据条件概率的定义，在事件B发生的条件下事件A发生的概率是

同样地，在事件A发生的条件下事件B发生的概率：

整理与合并上述两个方程式，便可以得到：

所以，贝叶斯公式可以直接根据条件概率的定义直接推出。