EM 算法——理论篇
2019-04-18 本文已影响0人
dreampai
在概率模型中，最常用的模型参数估计方法应该就是最大似然法。EM算法本质上也是最大似然，用于含有隐变量（hidden variable）的概率参数模型的最大似然估计或极大后验概率估计。
最大似然函数估计值的一般步骤
- 写出似然函数
- 对似然函数取对数，并整理
- 求导数，令导数为0，得到似然方程
- 解似然方程，得到的参数即为所求
问题
image.png
EM算法的思路：
EM算法首先会固定其中的第一个参数，然后使用 MLE 计算第二个变量值；接着通过固定第二个变量，再使用 MLE 估测第一个变量值，依次迭代，直至收敛到局部最优解。
- E-Step：通过 observed data 和现有模型估计参数估计值 missing data
- M-Step：假设 missing data 已知的情况下，最大化似然函数。
由于算法保证了每次迭代之后，似然函数都会增加，所以函数最终会收敛
EM算法
image.png
