第30课奇异值分解

2019-11-09 本文已影响0人 rascalpotato

奇异值分解：简称 $SVD$ ，是矩阵最终和最好的分解，分解的因子是正交矩阵，对角矩阵，正交矩阵，任意矩阵都有这种奇异值分解

对称正定矩阵性质，由于对称，它们的特征向量是正交的
$\begin{eqnarray} A=Q\Lambda Q^T \tag{1}\\ A=S\Lambda S^{-1} \tag{2} \end{eqnarray}$
因为 $S$ 不正交，所以不研究这种情况

$(1)$ 式分解是怎么来的？该分解说明什么？

在行空间中找个典型向量 $\vec {v_1}$ ，然后变换到列空间的某向量 $\vec{u_1}$ ，所以 $u_1=Av_1$

行空间中的一个向量变换到列空间的某处，要找到行空间的一组正交基，变换到列空间一组正交基

首先在行空间找到一组正交基，通过格接姆-施密特正交法
$A\begin{bmatrix}v_1&v_2&\dots&v_r\end{bmatrix}= \begin{bmatrix}u_1&u_2&\dots&u_r\end{bmatrix} \begin{bmatrix}\sigma_1&&&\\&\sigma_2&&\\&&\ddots&\\&&&\sigma_r\end{bmatrix}$

$A=\begin{bmatrix}4&4\\-3&3\end{bmatrix}$

$v$ 与 $u$ 标准正交， $\sigma$ 为缩放因子，是需要求的

如果零空间存在，找出一组基
$目标\begin{cases}Av_1=\sigma_1u_1\\Av_2=\sigma_2u_2\end{cases} \\ \begin{eqnarray} Av=u\varepsilon \to A=u\varepsilon v^{-1}=u\varepsilon v^T \tag{3} \end{eqnarray}\\ \underbrace{B=A^TA}_{对称且正定}= \overbrace{v\underbrace{\varepsilon^T}_{对角阵}u^T}^{A^T} \overbrace{u\underbrace{\varepsilon}_{对角阵} v^T}^{A} = v\varepsilon^2v^T = \underbrace{v}_{特征向量} \underbrace{\begin{bmatrix}\sigma_1^2&&\\&\ddots&\\&&\sigma_r^2\end{bmatrix}}_{特征值} \underbrace{v^T}_{特征向量} = Q\Lambda Q^T \\ \to A^TA = Q\Lambda Q^T\\ v是B的特征向量$
如何找出 $u$ ？
$\begin{eqnarray} C=AA^T=u\varepsilon v^Tv\varepsilon^Tu^T = u\varepsilon^2u^T= \underbrace{u}_{特征向量} \underbrace{\begin{bmatrix}\sigma_1^2&&\\&\ddots&\\&&\sigma_r^2\end{bmatrix}}_{特征值} \underbrace{u^T}_{特征向量} \tag{4} \end{eqnarray}\\ u是C的特征向量$

$A^TA = \begin{bmatrix}4&-3\\4&3\end{bmatrix}\begin{bmatrix}4&4\\-3&3\end{bmatrix}= \begin{bmatrix}25&7\\7&25\end{bmatrix} = B$
$B$ 的特征向量：
$v_1=\begin{bmatrix}1\\1\end{bmatrix}, v_2=\begin{bmatrix}1\\-1\end{bmatrix} 单位化 \to \begin{bmatrix}\frac{1}{\sqrt{2}}\\\frac{1}{\sqrt{2}}\end{bmatrix}, \begin{bmatrix}\frac{1}{\sqrt{2}}\\-\frac{1}{\sqrt{2}}\end{bmatrix}$

$Bv_1=\lambda_1v_1 \to \begin{bmatrix}25&7\\7&25\end{bmatrix}\begin{bmatrix}1\\1\end{bmatrix} = \lambda_1\begin{bmatrix}1\\1\end{bmatrix} \to \begin{bmatrix}25+7=32\\7+25=32\end{bmatrix} = 32\begin{bmatrix}1\\1\end{bmatrix} \to \lambda_1=32\\ Bv_2=\lambda_2v_2 \to \begin{bmatrix}25&7\\7&25\end{bmatrix}\begin{bmatrix}1\\-1\end{bmatrix}= \lambda_2\begin{bmatrix}1\\-1\end{bmatrix} \to \begin{bmatrix}25-7=18\\7-25=-18\end{bmatrix} = 18\begin{bmatrix}1\\-1\end{bmatrix} \to \lambda_2=18$

$A=u\varepsilon v^T = \underbrace{\begin{bmatrix}1&0\\0&1\end{bmatrix}}_{u} {\underbrace{\begin{bmatrix}\sqrt{32}&0\\0&\sqrt{18}\end{bmatrix}}_{\varepsilon}}^2 \underbrace{ \begin{bmatrix} \frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}} \end{bmatrix} }_{v^T}$

$AA^T=\begin{bmatrix}4&4\\-3&3\end{bmatrix}\begin{bmatrix}4&-3\\4&3\end{bmatrix}= \begin{bmatrix}32&0\\0&18\end{bmatrix} = C$

因为 $AB$ 与 $BA$ 的特征值相同 , $C$ 的特征值特征 $\lambda_1=32,\lambda_2=18$
$代入(4)式得 \to \begin{bmatrix}32&0\\0&18\end{bmatrix} = u\begin{bmatrix}32&0\\0&18\end{bmatrix}u^T$