GMM基础
2019-05-08 本文已影响15人
cherryleechen
一、单成分单变量高斯模型
![](https://img.haomeiwen.com/i8016875/0463edc889a25fe3.jpg)
![](https://img.haomeiwen.com/i8016875/0594de8a43490fcd.png)
![](https://img.haomeiwen.com/i8016875/252d6de67890da3a.png)
二、单成分多变量高斯模型
![](https://img.haomeiwen.com/i8016875/d80172704b2c02cd.jpg)
若协方差矩阵为对角矩阵且对角线上值相等,两变量高斯分布的等值线为圆形。
![](https://img.haomeiwen.com/i8016875/83b276447c76c7fe.png)
若协方差矩阵为对角矩阵且对角线上值不等,两变量高斯分布的等值线为椭圆形。长轴平行于取较大值的变量所在的轴,短轴平行于取较小值的变量所在的轴。
![](https://img.haomeiwen.com/i8016875/dd965edc089213a7.png)
若协方差矩阵为非对角矩阵,表明变量之间存在相关性,相关系数取-1到1之间的非0值。
![](https://img.haomeiwen.com/i8016875/05136018c7ed8083.png)
上图中两变量高斯分布的等值线长轴平行于这条直线。
![](https://img.haomeiwen.com/i8016875/300c1a18c3d2ddd7.jpg)
三、多成分多变量高斯混合模型
基于先验概率选择成分后,基于
生成数据。
![](https://img.haomeiwen.com/i8016875/865bb2e42606cd1a.jpg)
为减少参数数目,常假设协方差矩阵为对角矩阵且对角线取值相等。
![](https://img.haomeiwen.com/i8016875/a0071382b56854a1.jpg)
![](https://img.haomeiwen.com/i8016875/7fb63a6c65bde671.png)
如果哪个成分生成哪个数据的对应关系已知,即强制对齐,这时使用MLE进行参数估计
![](https://img.haomeiwen.com/i8016875/2e5d20bb9967b6c0.jpg)
通常情况下,这种生成数据的对应关系是未知的,即存在隐变量,这时使用EM替代MLE进行参数估计。
![](https://img.haomeiwen.com/i8016875/78646794125c7335.jpg)
E步其实计算的是,即软分配。
强制对齐下,将分配给其中的一个成分;
软分配下,将以一定的概率值分配给每个成分。
![](https://img.haomeiwen.com/i8016875/ca9dd1cddfb5a4de.jpg)
用GMM对数据进行拟合比用单个Gaussian拟合数据更加准确。
![](https://img.haomeiwen.com/i8016875/bd34fa54f7231299.png)
![](https://img.haomeiwen.com/i8016875/192f489b2ccfb5d5.png)
![](https://img.haomeiwen.com/i8016875/b88b848dfde8e6b6.png)