从摸球看最大似然估计

2019-10-31 本文已影响0人未不明不知不觉

写在前面
先来看一个问题
似然函数
求似然最大值
最大似然估计的数学表示
- 求解极大似然函数
- 一个参数的情况
多个参数的情况:
最大估计的特点

写在前面

这里是我个人对最大似然估计的理解,参考了其他文章,不足之处敬请指出!

先来看一个问题

假设我们有一个瓶子A,里面有很多黑球和白球,其中黑球占70%,白球占30%,现在取出100个球,理想情况下其中黑球有几个白球有几个?我们不用看就知道用100*0.7=70,也就是黑球可能有70个白球有30个,这个就是根据我们参数(概率)已知对结果进行推测。

接下来换一个方向,假设我们不知道原来瓶子A里黑球白球的占比,取出来10个球,其中有8个黑球和2个白球,那么我们去推测什么样的概率(黑球白球的占比)才会使得我们取出来100个球,其中有70个黑球和30个白球这件事的概率最大,这里就是一个结果已知参数(概率)未知的问题了,最大似然估计就是用来解决这样的问题了

似然函数

上面我们每次取球是一个伯努利试验,那么我们假设取得黑球的概率为 $p$ ,那么取得白球的概率为 $1-p$ ,那么我们连续取10次,有8个黑球和2个白球可以用下面的式子表示:

$L(p)=p^7(1-p)^3\;(1)$

上面的式子就是该问题的似然函数,似然函数取最大值得p,代表着p取何值时获得当前结果的可能性最大

求似然最大值

上面的式子里有有连乘,直接计算难以计算,一般我们会把它转化为对数,然后求对数取最大值时p的值,(1)式取对数得到:

$\begin{aligned} ln(L(p))=lnp^7+ln(1-p)^3\\ =7lnp+3ln(1-p) \end{aligned};(2)$

再对(2)式求导:

$\begin{aligned} ln(L(p))'=\frac{7}{p}-\frac{3}{1-p}\\ =\frac{7-7p}{p(1-p)} \end{aligned}$

显然 $p=0.7$ 的时候取得极值,这里我就不验证它是最大值了.

最大似然估计的数学表示

极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计

由于样本集中的样本都是独立同分布，可以只考虑一类样本集D，来估计参数向量θ。记已知的样本集为

$D={x_1,x_2,...x_N}$

似然函数(likelihood function):

$l(\theta)=p(D|\theta)=p(x_1,x_2,...,x_N|\theta)=\Pi_{i=1}^{N}p(x_i|\theta)$

这里我们需要求 $\theta$ 取何值时 $l(\theta)$ 最大

求解极大似然函数

我们要求是似然函数最大的 $\theta值$

$\theta=argmax_\theta l(\theta)=argmax_\theta \Pi_{i=1}^{N}p(x_i|\theta)$

为了方便分析,取对数似然函数:

$H(\theta)=ln l(\theta)$

一个参数的情况

若未知参数只有一个(二分类问题, $\theta$ 为一个数值),在似然函数满足连续可微的条件下,极大似然函数的估计值是下面微分方程的解:

$\frac{dH(\theta)}{d\theta}=0$

也就是求导,导数为0时 $\theta$ 的值即为估计值

举个例子:
设随机变量 $X$ 有分布律

$X$	1	2	3
$P$	$\theta$	$2\theta(1-\theta)$	$(1-\theta)^2$

|现取得样本[1,2,1],求 $\theta$ 的极大似然估计
写出似然函数:

$\begin{aligned} L(\theta)=P(X_1=x_1,X_2=x_2,X_3=x_3)\\ =P(X_1=1)P(X_2=2)P(X_3=1)\\ =\theta^2\times 2\theta(1-\theta)\times \theta^2=2\theta^5(1-\theta) \end{aligned}$