深度学习知识点汇总-机器学习基础（9）

2.9 LDA和PCA比较

• 相同点： 1. 两者均可以对数据进行降维； 2. 两者在降维时均使用了矩阵特征分解的思想； 3. 两者都假设数据符合高斯分布；
• 不同点：1. LDA是有监督的降维方法；PCA是无无监督的降维方法；2. LDA可以用于降维，还可以用于分类；PCA只用于降维；3. LDA选择分类性能最好的投影方向；PCA选择样本点投影具有最大方差的方向；

LDA的优缺点分析：

• 优点：1. 可以使用类别的先验知识； 2. 以标签、类别衡量差异性的有监督降维方式，相对于PCA的模糊性，其目的更明确，更能反映样本间的差异；
• 缺点：1. LDA不适合对非高斯分布样本进行降维； 2. LDA降维最多降到分类数k-1维； 3. LDA在样本分类信息依赖方差而不是均值时，降维效果不好； 4. LDA可能过度拟合数据。