关于极大似然估计的学习(附Matlab中mle函数的求解)

2018-10-29  本文已影响1163人  LiBiscuit

冒泡~是新的一周辣~温故而知新一下极大似然估计(真是很不容易了)


极大似然估计的基本思想

什么是极大似然?官方上的较清楚的解释是:利用已知的样本的结果,在使用某个模型的基础上,反推最有可能导致这样结果的模型参数值。

从字面上的意思看,可以这样理解,极大---最大概率,似然---看起来像这个样子,估计---预计是这个样子,也就可以通俗的说,最大的概率看起来是这个样子的那就是这个样子的。

通过一个图片直观解释:

原理:极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。通过若干次试验,观察其结果,利用试验结果得到某个参数值能够使样本出现的概率为最大,则称为极大似然估计。



极大似然估计的求解

先来举一个简单的离散状态下的例子

离散的小球问题:

箱子里有一定数量的小球,每次随机拿取一个小球,查看颜色以后放回,已知拿到白球的概率p为0.8或者0.2,拿了三次,都不是白球,想要求拿到白球的概率的极大似然估计。

分析:此处从数学上来讲,想要准确的求出拿到白球的概率是不可能的,所以此处求的是概率的极大似然估计。而这里的有放回的拿取,是高中数学中经典的独立重复事件,可以很简单的分别求出白球概率为0.8和0.2的时候拿三次都不是白球的概率。

解:

若拿到白球的概率为0.8,拿三次都不是白球的概率为:P_0.8=0.2*0.2*0.2=0.008

若拿到白球的概率为0.2,拿三次都不是白球的概率为:P_0.2=0.8*0.8*0.7=0.512

P_0.2>P_0.8,可知当前情况下白球概率为0.2的概率大于白球概率为0.8

综上所述:拿到白球的概率的极大似然估计为0.2

接下来举个离散的情况例子:

连续的小球问题:

箱子里有一定数量的小球,每次随机拿取一个小球,查看颜色以后放回,已知拿到白球的概率p的范围是[0.3,0.7],拿了三次,都不是白球,想要求拿到白球的概率的极大似然估计。

解:记拿到白球的概率为p,取白球的事件为Y,取到时Y=1,未取到时Y=0,小球颜色不是白色的事件Y重复3次的概率为:P(Y=0;p)=(1-p)^3  

欲求p的极大似然估计,即要求P(Y=0;p)的极大值:令Q(p)=(1-p)^3

Q'(p)=-3*(1-p)^2  令Q'(p)=0

求得Q的极值点为p=1,且当p<1时,Q'(p)<0,p>1时,Q'(p)<0,可知Q(p)为单调减函数

可知0.3<=p<=1的条件下,p=0.3时,Q(p)取得最大值。

综上所述:小球概率的极大似然估计为0.3

经过整两个例子大概可以简单的理解了怎么求极大似然估计了,接下来就引入似然函数的概念去更系统的求解。

重点来啦~

对数函数的引入

在似然函数满足连续、可微的正则条件下,极大似然估计量是下面微分方程的解:

举个栗子:

题目来源:https://blog.csdn.net/pipisorry/article/details/51461997?utm_source=blogxgwz0                                (图片的编辑注释为本人)

(补充验证 后面会做具体说明)

高级一点的栗子:

总结  求最大似然估计量的一般步骤: 

 (1)写出似然函数; (2)对似然函数取对数,并整理; 

 (3)求导数; (4)解似然方程。


Matlab中mle函数求极大似然估计

MLE(maximum likelihood estimation,最大似然估计),的基本原理是通过选择参数使似然函数最大化。

举例:

题目来源:https://wenku.baidu.com/view/85204009b90d6c85ec3ac66c.html

matlab代码求解

首先这是一个二项分布,置信度默认为95%

输出结果为:

这和计算出来的是相符合的。

本文参考:极大似然估计思想的最简单解释 - Don't worry,be happy - CSDN博客

极大似然估计详解 - 知行流浪 - CSDN博客


finally~知识的遗忘太艰难了吧!

上一篇下一篇

猜你喜欢

热点阅读