pca理解

http://blog.codinglabs.org/articles/pca-tutorial.html
看到一篇比较好的将pca的文章，将原理讲得很清楚，但是理解还是花了不少时间，现在将理解过程记录下来

整体思路

   原始特征矩阵     

为什么将方差最大的方向作为主要特征

  可以将一个特征上的很多样本数据，看成是一个随机变量，方差就反映了这个随机变量，相对期望的离散程度，如果方差小，说明，大多数样本都在均值附近，那么在使用所有特征来对样本进行分类时，这个特征的贡献非常小（因为在所有样本中，这个特征都差不多，没有什么区分度），所以就可以忽略掉这个特征，起到将维的作用。

既然是想要去掉有相关性的特征，为什么不能直接算原始特征矩阵的协方差矩阵，然后直接将协方差排序，然后找打大的协方差对应的两个特征，然后去掉一个呢

  这个我理解是，在原始特征矩阵中，可能各个特征直接没有那么大的相关性，直接去掉一个特征，数据损失可能就太大了，只有将原始矩阵映射到一个完全正交的新矩阵后，这些组合特征的方差比较小，才反映出一些原始特征的存在一定程度的相关性，换句话说，正式因为某些原始特征的相关性，才使某个变换后的组合特征方差很小，数值都落到了相对集中的区域。

推导