PCA主成分分析学习笔记 + Matlab实现

综述

简书数学公式显示不全，可以看这里

PCA (Principal Component Analysis) 主成分分析是目前最常用的数据降维方法之一，主要思路是将n维的数据投影到k(n>k)维空间超平面（直线的高维推广）上面去，使得各个样本点到超平面的投影距离最小（欧式距离）且方差最大。

简单的理解就是你给一个人拍照，要选择什么方向拍才能体现这个人的最多特征，大概就是给这个人拍一个正面的全身照，才能保留这个人的最多图像信息。如果拍侧面照或者从头顶照得到的信息就会非常有限。

再举一个二维数据降维到一维的例子：图中各个颜色的X代表样本坐标点，可以看出相关性比较大（X1轴X2轴单位是inch与cm），所以我们可以找一条直线，将各个样本点投影到直线上，作为我们的一维数据。这里跟线性回归的差别是PCA要最小化点到直线的投影（L2 norm），而线性回归要最小化曼哈顿距离（L1 norm）

图片来源：Coursera

具体降维过程

1. 将数据均值归一化。计算出所有特征的均值$\mu$并计算出$X_i=X_i-\mu$。如果特征是
   在不同的数量级上，我们还需要将其除以标准差 $σ^2$

   
   

2. 计算协方差矩阵（covariance matrix）Σ sigma 根据协方差公式：
   $$Σ(A_1,A_2) = \frac{(x_i-\bar x)(y_i-\bar y)}{(n-1)}$$
   $$
   Σ =
   \left{
   \begin{matrix}
   0.616555556 & 0.615444444 \
   0.615444444 & 0.716555556 \
   \end{matrix}
   \right}
   $$
   或者在Matlab中使用

   
   

3. 计算协方差矩阵 Σ 的特征向量（eigenvectors）$\overrightarrow v$ 与特征值（eigenvalues）λ
   根据M$\overrightarrow v$ = λ$\overrightarrow v$ 计算行列式|M-λI|=0可以得出
   $$
   \overrightarrow v =
   \left{
   \begin{matrix}
   -.735178656 & -.677873399 \
   .677873399 & -.735178656 \
   \end{matrix}
   \right}
   $$
   $$
   λ =
   \left{
   \begin{matrix}
   .0490833989 \
   1.28402771
   \end{matrix}
   \right}
   $$
   在 Matlab中可以使用函数

• [V,D]=eig(A)：求矩阵A的全部特征值，构成对角阵D，并求A的特征向量构成V的列向量。
• [U,S,V] = svd(A):产生一个与X维度相同的对角矩阵S，并且降序排列非负对角元素。并且酉矩阵U和V使得X = USV
  其中svd是singular value decomposition奇异值分解，这里就不再赘述，详情可以看这里

4. 保留特征值最大的k（n维数据降到k维）个值，并使用删减过的特征矩阵 * 均一化矩阵 = FearureVector * DataAdjust 得到一个 n×k 维度的矩阵
   最终结果
   如果使用SVD函数，返回的的 U 是一个具有与数据之间最小投射误差的方向向量构成的矩阵。如果我们希望将数据从 n 维降至 k 维，我们只需要从 U 中选取前 k 个向量，我们用 $U_{reduce}$ 表示，然后通过如下计算获得要求的新特征向量$z^{(i)}$
   $$z^{(i)} = U_{reduce}^Tx{(i)}$$

5. 最后可以使用${\sum_{i=1}^k λi\over \sum{i=1}^n λ_i}$ 来计算最终保留的方差比例。

代码实现

function [U, S] = pca(X)
%PCA Run principal component analysis on the dataset X
%   [U, S, X] = pca(X) computes eigenvectors of the covariance matrix of X
%   Returns the eigenvectors U, the eigenvalues (on diagonal) in S
%
[m, n] = size(X);
U = zeros(n);
S = zeros(n);
sigma = X' * X / m;
[U, S, X] = svd(sigma);
end

function Z = projectData(X, U, K)
%on to the top k eigenvectors
%   Z = projectData(X, U, K) computes the projection of 
%   the normalized inputs X into the reduced dimensional space spanned by
%   the first K columns of U. It returns the projected examples in Z.
%
Z = zeros(size(X, 1), K);
for i = 1:size(X,1)
  for k = 1:K
    x= X(i, :)';
    Z(i,k) = x' * U(:, k);
  end
end
end
%  Run PCA
[U, S] = pca(X_norm);
K = 100;
Z = projectData(X_norm, U, K);

数学证明

可以参考周志华的机器学习P229或者这里

总结

数据降维的意义与作用举例：

• 数据压缩：可以提升机器学习算法效率与节省储存空间
• 数据可视化：将数据降维到1-3维，更好地呈现数据