红红火火恍恍惚惚

什么是最大似然估计

2019-07-26  本文已影响19人  龙鹰图腾223

通过事实,推断出最有可能的情况,就是最大似然估计。

1、直观的例子

现在让情况没有那么极端:

假如有一个罐子,里面有黑白两种颜色的球,数目多少不知,两种颜色的比例也不知。我们想知道罐中白球和黑球的比例,现在我们可以每次任意从已经摇匀的罐中拿一个球出来,记录球的颜色,然后把拿出来的球再放回罐中。假如在前面的一百次重复记录中,有七十次是白球,请问罐中白球所占的比例最有可能是多少?

很多人马上就有答案了:70%。而其后的理论支撑是什么呢?

2、理论分析

我们假设罐中白球的比例是p,那么黑球的比例就是1-p。因为每抽一个球出来,在记录颜色之后,我们把抽出的球放回了罐中并摇匀,所以每次抽出来的球的颜 色服从同一独立分布。

那么问题来了,既然有无数种分布可以选择,极大似然估计应该按照什么原则去选取这个分布呢?

如果第一次抽象的结果记为x1,第二次抽样的结果记为x2....那么样本结果为(x1,x2.....,x100)。这样,我们可以得到如下表达式:

P(样本结果|Model)

  = P(x1,x2,…,x100|Model)

  = P(x1|Mel)P(x2|M)…P(x100|M)

  = p^70(1-p)^30.

答:采取的方法是让这个样本结果出现的可能性最大,也就是使得p^70(1-p)^30值最大,那么我们就可以看成是p的方程,求导即可!

那么既然事情已经发生了,为什么不让这个出现的结果的可能性最大呢?这也就是最大似然估计的核心。

我们想办法让观察样本出现的概率最大,转换为数学问题就是使得:

p^70(1-p)^30最大,这太简单了,未知数只有一个p,我们令其导数为0,即可求出p为70%,与我们一开始认为的70%是一致的。其中蕴含着我们的数学思想在里面。

求最大似然估计的问题,就变成了求似然函数的极值问题。


3、最大似然与最小二乘法的区别与联系

最小二乘估计:找到一个(组)估计值,使得观测值与估计值的平方和最小。这时,将这个差的平方的和式对参数求导数,并取一阶导数为零。

最大似然估计:使从模型中抽取该n组样本观测值的概率最大,也就是概率分布函数或者说是似然函数最大。这时是求样本所有观测的联合概率最大化,是个连乘积,只要取对数,就变成了线性加总。此时通过对参数求导数,并令一阶导数为零,就可以通过解方程(组),得到最大似然估计值。

最大似然法需要已知这个概率分布函数,一般假设其满足正态分布函数的特性,在这种情况下,最大似然估计和最小二乘估计是等价的,也就是说估计结果是相同的

总结一句话: 最小二乘法的核心是权衡,因为你要在很多条线中间选择,选择出距离所有点之后最短的,而极大似然核心是自恋,要相信自己是天选之子,自己看到的,就是冥冥之中最接近真相的。


4、最大似然估计与贝叶斯定理的异同

最大似然估计是“模型已知,参数未定”的典型方法。最大似然法是要解决这样一个问题:给定一组数据和一个参数待定的模型,如何确定模型的参数,使得这个确定参数后的模型在所有模型中产生已知数据的概率最大。

在最大似然法中,只考虑了由一个模型产生一个已知数据的概率,而没有考虑模型本身的概率。相对应的考虑了模型本身概率的方法,是贝叶斯方法(Bayesian method)。

扔了100次硬币,100次出现的都是“花”,不论是最大似然估计,或者是贝叶斯定理,都认为有必要对之前假设的硬币的参数进行调整。不同之处在于,贝叶斯定理还要考虑,两面都是“花”的硬币本身存在的概率有多高。如果我的硬币不是精心准备的,而是随机挑选的,那么一枚硬币两面都是“花”可能性微乎其微,几乎就是一个传说。那么贝叶斯会认为哪怕扔了100次硬币,100次出现的都是“花”,但是因为两面都是“花”的硬币实在太少,那么实际这枚硬币是两面“花”的可能性仍然不高。而最大似然则会认为两面是花的概率更大。

先验概率对结果的影响很大。不过,当数据量比较大的时候,先验概率的影响就会减小。

参考文献

【1】https://www.zhihu.com/question/20447622/answer/23848605  作者:稻花香  最大似然估计和最小二乘法怎么理解?

【2】https://zhuanlan.zhihu.com/p/26614750  作者:忆臻  一文搞懂极大似然估计

【3】https://www.jianshu.com/p/9b56ffdb9ea6    最大似然估计和最小二乘法

【4】https://blog.csdn.net/xidianzhimeng/article/details/20847289    最大似然估计和最小二乘估计的区别与联系

【5】https://www.zhihu.com/question/24124998/answer/242682386    如何通俗地理解概率论中的「极大似然估计法」

上一篇下一篇

猜你喜欢

热点阅读