PCA信号降维与复原

一个信号往往包含多个维度，各个维度之间可能包含较强的相关性。下图表示的是一组二维信号x=(x1,x2)，可以看到数据点基本上分布在x2=x1这条直线上，二者存在很强的相关性（也就是确定x1之后，就能确定x2的大致范围）。

主成分分析（Principal Component Analysis, PCA）的目的在于寻找到一组基，将信号投影到这组基上面，从而能够去除信号各个维度之间的相关性。如下图，u1和u2是通过PCA找到的两个基向量，将信号投影到该基向量上，信号各维度之间的相关性就基本被去除了。

信号各维度之间的相关性可以用相关系数来表示。假设一个维度为x1，另一个维度为x2，二者都相当于随机变量。那么相关系数为：

原图，k=50，k=200，k=350 前16个主成分

[cov]: http://latex.codecogs.com/svg.latex?cov(x_1,x_2)=\frac{1}{N}\Sigma_{i=1}^N(x_1{(i)}-\bar{x_1})(x_2^{(i)}-\bar{x_2})