特征值与特征向量的实际意义

知乎@達聞西

一、先从旋转和缩放角度，理解一下特征向量和特征值的几何意义
从定义来理解特征向量的话，就是经过一个矩阵变换后，空间沿着特征向量的方向上相当于只发生了缩放，比如我们考虑下面的矩阵：

\begin{bmatrix}1.5 & 0.5\ 0.5 & 1.0\end{bmatrix}
求这个变换的特征向量和特征值，分别是：
U=\begin{bmatrix}0.85 & -0.53\ 0.53 & 0.85\end{bmatrix}
（列向量）和 [1.81，0.69]

用一个形象的例子来说明一下几何意义，我们考虑下面笑脸图案：

为方便演示笑脸图案在0,0和1,1围起来的单位正方形里，同时也用两个箭头标出来了特征向量的方向。经过 \begin{bmatrix}1.5 & 0.5\ 0.5 & 1.0\end{bmatrix} 的变换，也就是用这个图案中的每个点的坐标和这个矩阵做乘法，得到下面图案：
可以看到就是沿着两个正交的，特征向量的方向进行了缩放。这就是特征向量的一般的几何理解，这个理解我们也可以分解一下，从旋转和沿轴缩放的角度理解，分成三步：
第一步，把特征向量所指的方向分别转到横轴和纵轴

这一步相当于用U的转置，也就是 U^{T} 进行了变换
第二步，然后把特征值作为缩放倍数，构造一个缩放矩阵 \begin{bmatrix}1.81 & 0\ 0 & 0.69\end{bmatrix} ，矩阵分别沿着横轴和纵轴进行缩放：

第三步，很自然地，接下来只要把这个图案转回去，也就是直接乘U就可以了
所以，从旋转和缩放的角度，一个矩阵变换就是，旋转-->沿坐标轴缩放-->转回来，的三步操作，表达如下：
T=U \Sigma U ^{T}
多提一句，这里给的是个(半)正定矩阵的例子，对于不镇定的矩阵，也是能分解为，旋转-->沿坐标轴缩放-->旋转，的三步的，只不过最后一步和第一步的两个旋转不是转回去的关系了，表达如下：
T=U \Sigma V^{T}

扩展阅读
PCA 主成分分析