sklearn学习笔记——线性判别分析LDA
LDA降维
Linear and Quadratic Discriminant Analysis
LDA、PDA RDA
shrinkage 具体是指什么意思
噪声特征对样本数的比值越来越大时普通lda分类效果越来越低,而shrinkage lda 下降并不多。
默认solver为“svd”。它既能进行分类又能进行变换,不依赖于协方差矩阵的计算。在功能数量众多的情况下,这可能是一个优势。但是,“svd” solver不能用于shrinkage 。
The ‘lsqr’ solver 是一种有效的算法,只适用于分类。它支持shrinkage 。
The ‘eigen’ solver需要计算协方差矩阵,因此它可能不适合具有大量特征的情况。
在scikit-learn中, LDA类是sklearn.discriminant_analysis.LinearDiscriminantAnalysis。那既可以用于分类又可以用于降维。当然,应用场景最多的还是降维。和PCA类似,LDA降维基本也不用调参,只需要指定降维到的维数即可。
一般来说,如果我们的数据是有类别标签的,那么优先选择LDA去尝试降维;当然也可以使用PCA做很小幅度的降维去消去噪声,然后再使用LDA降维。如果没有类别标签,那么肯定PCA是最先考虑的一个选择了。【1】
PCA是为了去除原始数据集中冗余的维度,让投影子空间的各个维度的方差尽可能大,也就是熵尽可能大。LDA是通过数据降维找到那些具有discriminative的维度,使得原始数据在这些维度上的投影,不同类别尽可能区分开来。下面这张图一定程度上表示了PCA和LDA之间投影选择的差别。
【1】https://www.cnblogs.com/pinard/p/6249328.html 用scikit-learn进行LDA降维
【2】https://blog.csdn.net/qsczse943062710/article/details/75977118 sklearn浅析(五)——Discriminant Analysis
【3】https://blog.csdn.net/daunxx/article/details/51881956 线性判别分析(Linear Discriminant Analysis)