2018-10-29 修改model - 共用协方差矩阵

1.协方差矩阵

协方差矩阵 Σ表示的是n个元素之间两两对应的关系，所以协方差矩阵 Σ是一个nxn的矩阵。

协方差矩阵 Σ>0;两个元素之间关系为正相关，协方差矩阵 Σ<0;两个元素之间关系为负相关，协方差矩阵 Σ=0;两个元素之间关系为不相关。

举一个三维的例子，假设数据集有三个维度，则协方差矩阵为：

相关的数学解释：http://www.cnblogs.com/chaosimple/p/3182157.html

2.修改model，共用协方差矩阵，可以明显提升识别概率

通常来说，不会给每个高斯分布都计算出一套不同的最大似然估计，协方差矩阵是和输入feature大小的平方成正比，所以当feature很大的时候，协方差矩阵是可以增长很快的。所以共用一个最大拟然估计！

此时修改似然函数为 L(μ1,μ2,Σ)。μ1,μ2 计算方法和上面相同，分别加起来平均即可；而Σ的计算有所不同。

右图新的结果，分类的boundary是线性的，所以也将这种分类叫做 linear model。如果考虑所有的属性，发现正确率提高到了73%。