关于极大似然估计的学习(附Matlab中mle函数的求解)
冒泡~是新的一周辣~温故而知新一下极大似然估计(真是很不容易了)
极大似然估计的基本思想
什么是极大似然?官方上的较清楚的解释是:利用已知的样本的结果,在使用某个模型的基础上,反推最有可能导致这样结果的模型参数值。
从字面上的意思看,可以这样理解,极大---最大概率,似然---看起来像这个样子,估计---预计是这个样子,也就可以通俗的说,最大的概率看起来是这个样子的那就是这个样子的。
通过一个图片直观解释:
原理:极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。通过若干次试验,观察其结果,利用试验结果得到某个参数值能够使样本出现的概率为最大,则称为极大似然估计。
极大似然估计的求解
先来举一个简单的离散状态下的例子
离散的小球问题:
箱子里有一定数量的小球,每次随机拿取一个小球,查看颜色以后放回,已知拿到白球的概率p为0.8或者0.2,拿了三次,都不是白球,想要求拿到白球的概率的极大似然估计。
分析:此处从数学上来讲,想要准确的求出拿到白球的概率是不可能的,所以此处求的是概率的极大似然估计。而这里的有放回的拿取,是高中数学中经典的独立重复事件,可以很简单的分别求出白球概率为0.8和0.2的时候拿三次都不是白球的概率。
解:
若拿到白球的概率为0.8,拿三次都不是白球的概率为:P_0.8=0.2*0.2*0.2=0.008
若拿到白球的概率为0.2,拿三次都不是白球的概率为:P_0.2=0.8*0.8*0.7=0.512
P_0.2>P_0.8,可知当前情况下白球概率为0.2的概率大于白球概率为0.8
综上所述:拿到白球的概率的极大似然估计为0.2
接下来举个离散的情况例子:
连续的小球问题:
箱子里有一定数量的小球,每次随机拿取一个小球,查看颜色以后放回,已知拿到白球的概率p的范围是[0.3,0.7],拿了三次,都不是白球,想要求拿到白球的概率的极大似然估计。
解:记拿到白球的概率为p,取白球的事件为Y,取到时Y=1,未取到时Y=0,小球颜色不是白色的事件Y重复3次的概率为:P(Y=0;p)=(1-p)^3
欲求p的极大似然估计,即要求P(Y=0;p)的极大值:令Q(p)=(1-p)^3
Q'(p)=-3*(1-p)^2 令Q'(p)=0
求得Q的极值点为p=1,且当p<1时,Q'(p)<0,p>1时,Q'(p)<0,可知Q(p)为单调减函数
可知0.3<=p<=1的条件下,p=0.3时,Q(p)取得最大值。
综上所述:小球概率的极大似然估计为0.3
经过整两个例子大概可以简单的理解了怎么求极大似然估计了,接下来就引入似然函数的概念去更系统的求解。
重点来啦~
对数函数的引入在似然函数满足连续、可微的正则条件下,极大似然估计量是下面微分方程的解:
举个栗子:
题目来源:https://blog.csdn.net/pipisorry/article/details/51461997?utm_source=blogxgwz0 (图片的编辑注释为本人)(补充验证 后面会做具体说明)
高级一点的栗子:
总结 求最大似然估计量的一般步骤:
(1)写出似然函数; (2)对似然函数取对数,并整理;
(3)求导数; (4)解似然方程。
Matlab中mle函数求极大似然估计
MLE(maximum likelihood estimation,最大似然估计),的基本原理是通过选择参数使似然函数最大化。
举例:
题目来源:https://wenku.baidu.com/view/85204009b90d6c85ec3ac66c.htmlmatlab代码求解
首先这是一个二项分布,置信度默认为95%
输出结果为:
这和计算出来的是相符合的。本文参考:极大似然估计思想的最简单解释 - Don't worry,be happy - CSDN博客
finally~知识的遗忘太艰难了吧!