数据降维 | 主成分分析(PCA)
01 数据降维
数据分析中，我们常常面对较大的数据集，这里的“大”，一是指样本量大（如千万量级），二是指高维度（如几百个维度）。因此在正式分析这些大数据前，我们需要对它们做预处理，从而缩减数据维度，提升处理效率和训练效果。
数据降维就是一种数据预处理技术，常用的降维技术如下：
- 主成分分析 PCA
- 因子分析 Factor Analysis
- 独立成分分析 ICA
本文介绍并实践了一种常用的数据降维方法——主成分分析(PCA)
让我们一起来看看吧~
02 PCA原理
主成分分析的原理非常简单，概括来说就是选择包含信息量大的维度，去除信息量少的“干扰”维度，具体如下：
-
数据从原来的坐标系转换到新的坐标系，新坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是原始数据中方差最大的方向(即数据差异性最大的方向)，第二个新坐标轴选择与第一个新坐标轴正交且具有最大方差的方向，以此类推，共建立与原始数据特征数目相等的新坐标轴。
-
我们会发现，大部分方差都包含在最前面的几个新坐标轴中，因此我们可以忽略余下的坐标轴，从而实现降维。（方差大代表不同数据之间的差异大，即，包含的可区分信息量大）
注意，PCA降维后，原始数据被映射到了新坐标系，不是原始值了。
03 python实现
根据PCA原理，我们写出如下PCA的过程，然后用python实现。
过程：
- 去除平均值(防止协方差计算中出现乘以0的情况)
- 计算协方差矩阵np.cov()，并计算该矩阵的特征值和特征向量nplinalg.eig()
- 将特征值降序排序，保留前N个特征值对应的特征向量(N为PCA保留的特征数，人为设定)
- 将原始数据转换到这N个特征向量构建的新空间中(矩阵乘法：原始数据*特征向量)
- 将转换到新空间的原始数据，映射到新坐标系中，得到降维之后的数据集
python实现如下
def pca(dataMat,topNfeat=999999):
meanVals=np.mean(dataMat,axis=0) #求dataMat各列均值
meanRemoved=dataMat-meanVals #减去原始数据中的均值，避免协方差计算中出现乘以0的情况
covMat=np.cov(meanRemoved,rowvar=0) #rowvar=0-->以列代表一个变量，计算各列之间的协方差
eigVals,eigVects=np.linalg.eig(np.mat(covMat)) #协方差矩阵的特征值和特征向量
eigValInd=np.argsort(eigVals)
eigValInd=eigValInd[:-(topNfeat+1):-1] #对升序排序结果从后往前取topNfeat个值
redEigVects=eigVects[:,eigValInd] #取选定特征值对应的特征向量，从而转换原始数据
lowDemData=meanRemoved*redEigVects #将原始数据转换到新空间
reconMat=(lowDemData*redEigVects.T)+meanVals #降维后的数据集
return lowDemData,reconMat
用一组简单的二维数据来测试一下
再进一步
刚才的PCA实现中，我们认为设定保留的维度数，所以这里会有个问题——如何知道保留几个维度是最佳的呢？
我们希望通过保留尽可能少的维度来留存尽可能多的信息。
所以我们用另一组多维度数据集来看看保留不同维度数时，所保留的信息量占比情况。
- 可以看到，维度降到3维时，已经包含90%以上的信息了，实际使用中选择降到多少维根据具体需求而定
04 总结
本文介绍并用python实现了一种常用的降维算法——PCA。
PCA优缺点
- 优点：降低数据复杂性，识别最重要的多个特征
- 缺点：PCA需要将所有数据集放入内存，若数据集较大，内存处理效率低，此时需要使用其他方法来寻找特征值-->SVD+PCA
基于PCA占用内存的缺点，下一期我们将学习另一种降维算法——奇异值分解(SVD)，此算法也是搜索引擎的基础算法之一，敬请期待~
05 参考
《机器学习实战》 Peter Harrington Chapter13
