EM算法

博客CSDN： 从最大似然到EM算法浅解
知乎：隐变量是什么?

隐变量：主要就是指“不能被直接观察到，但是对系统的状态和能观察到的输出存在影响的一种东西”。

1. 算法步骤

2. 另一种解释

3. Kmeans，EM算法的关系？

K-means是EM算法的一个特例，k-means是两个步骤交替进行，可以分别看成E步和M步；

• M步中将每类的中心更新为分给该类各点的均值，可以认为是在「各类分布均为单位方差的高斯分布」的假设下，最大化似然值；
• E步中将每个点分给中心距它最近的类（硬分配），可以看成是EM算法中E步（软分配）的近似。

4. Jensen不等式

5. 为什么EM算法能近似实现对观测数据的极大似然估计（每次迭代是似然函数增大或达到局部极值）？

通过Jensen不等式证明目标函数的下界，而EM算法是通过在不断求解下界的极大化求解对数似然函数极大化的算法。