PCA 使用 SVD

2019-02-20 本文已影响1人李威威

“PCA 通过 SVD 分解替代协方差矩阵的特征值分解” 是什么意思？

在周志华的《机器学习》第 10 章介绍“主成分分析”一节中，有这样一句批注：

实践中常通过对 $X$ 进行奇异值分解来替代协方差矩阵的特征值分解。

下面就解释一下这句话的意思。我们复习一下，将任意形状的矩阵 $X$ 是如何进行 SVD 分解的：
$X^TX = (V \Sigma^T U^T)(U \Sigma V^T)=V \Sigma^T (U^TU) \Sigma V^T=V \Sigma^T \Sigma V^T$

$XX^T = (U \Sigma V^T)(V \Sigma^T U^T)=U \Sigma (V^TV) \Sigma^T U^T=U \Sigma \Sigma^T U^T$

这里 $V$ 是 $X^TX$ 的特征向量按照列排成的矩阵（按照 $X^TX$ 的特征值从大到小对应排列），而 $U$ 是 $XX^T$ 的特征向量按照列排成的矩阵（按照 $XX^T$ 的特征值从大到小对应排列）。我们的 PCA 就是要对 $X$ 的协方差矩阵 $X^TX$ 做特征值分解，即要求的是矩阵 $V$ ，SVD 一下子就可以求得 $V$ 。

我们再想想，PCA 求出的 $V$ 只是坐标旋转以后的新线性空间的标准正交基，降维还得做线性变换，即用矩阵 $V$ 右乘，得 $XV$ 。由 $X=U \Sigma V^T$ ，直接可以得到 $XV=U \Sigma$ ，即新线性空间的坐标。而 SVD 的经典算法有 Golub-Kahan 算法、分治法、Jacobi 法几种，这些算法其实都比较快，在一些软件底层的实现中，采用的是上述方法中的一种。因此，我们想要的是 $V$ ，经典算法帮我们快速算出了 $V$ ，因此就没有必要先算 $X^TX$ ，再对其做特征值分解了。这其实就是书上这句批注的意思。

image.png

PCA 使用 SVD

“PCA 通过 SVD 分解替代协方差矩阵的特征值分解” 是什么意思？

猜你喜欢

热点阅读