极大似然估计(MLE)

2020-10-06 本文已影响0人 KyoDante

极大似然估计（MLE: maximum likelihood estimate.）

历史

1822年，高斯在处理正态分布时提出MLE。
1921年，美国统计学家Fisher证明了其相关性质。

离散型概率统计模型

$L(\theta)=\prod_{x=1}^{n}P_\theta(X_i=x_i)$

连续型概率统计模型

$L(\theta)=\prod_{x=1}^{n}f(X_i,\theta)$

直观含义：刻画参数 $\theta$ 与数据的匹配程度

比如：

X	1	2	sum
P	$\theta$	$1-\theta$	1
测试次数	$n_1$	$n_2$	$n$

直觉上： $\theta=\frac{n_1}{n}$
列出似然函数：
$L(\theta)=\theta^{n_1}(1-\theta)^{n_2}$

个人理解：按照物理意义，上式应该是带有 $C_n^{n_1}$ 或者 $C_n^{n_2}$ 的系数项的，才会更加贴合实际含义（此次抽样事件发生的概率）。而由于该事件在本次抽样中已经发生了，组合的位置已经确定了，因而没有该系数？最终，应该使该事件发生的概率尽可能的大（也即”所见即所得“）。

因而会有以下的过程：
$\because$ 使 $L(\theta)$ 取得最大值
而乘法的导数不好求，转化为对数形式：
也即求 $lnL(\theta)=n_1ln\theta+n_2ln(1-\theta)$
$\therefore$ $\frac{dlnL(\theta)}{d\theta}=\frac{n_1}{\theta}+\frac{n_2}{\theta-1}=0$

$\Rightarrow$ $\hat{\theta}=\frac{n_1}{n_1+n_2}=\frac{n_1}{n}$

极大似然估计(MLE)

极大似然估计（MLE: maximum likelihood estimate.）

历史

离散型概率统计模型

连续型概率统计模型

因此是与直觉相符合的。

当出现多余参数，数据截尾或缺失时，极大似然估计不适合来处理该问题。那么，就会有其他统计学家来想办法解决这种问题。

猜你喜欢

热点阅读