最大似然估计(MLE)VS最大后验估计(MAP)
2018-09-11 本文已影响0人
小小orange
概念介绍
1.最大似然估计(MLE,Maximum Likelihood Estimation):模型(x)已定,参数y未知
2.最大后验概率(MAP,Maximum a posteriori estimation):与最大似然估计类似,但最大后验估计的融入了要估计量的先验分布在其中。故最大后验估计可以看做规则化的最大似然估计。
最大似然估计
贝叶斯定理公式:P(Y|X)=P(X|Y)P(Y),其中P(X|Y)是似然函数(数据X已知,但是分类Y未知)
1.核心:使得发生的样本出现的可能性最大。
2.最大似然估计是求参数Y, 使似然函数p(x0|Y)最大。
最大后验概率估计
1.核心:使得发生的样本出现的可能性最大
2.最大后验概率估计则是想求Y使得p(x0|Y)p(Y)最大。
3.求得的Y不单单让似然函数大,Y自己出现的先验概率也得大。 (这有点像正则化里加惩罚项的思想,不过正则化里是利用加法,而MAP里是利用乘法)
MLE与MAP的区别
MLE一直天真认为P(Y)是个固定值,在认为Y是固定值的情况下求得p(x0|Y),即使得p(x0|Y)最大;
MAP是求得p(x0|Y)p(Y)最大,即p(x0|Y)和p(Y)都得大,但是这里边Y的值肯定与MLE中一直认为的Y值时不同的。
相关连接:https://mp.weixin.qq.com/s/dQxN46wEbFrpvV369uOHdA 讲述MLE与MAP的区别,里边有例子进行解释。