第16课投影矩阵和最小二乘

2019-10-29 本文已影响0人 rascalpotato

投影矩阵： $P=A(A^TA)^{-1}A^T$

① 如果向量 $\vec{b}$ 在 $A$ 的列空间里，则投影结果 $Pb=b$

② 如果 $\vec{b}$ 垂直于 $A$ 的列空间(可买想象成一个平面)，此时 $Pb=0$ 离 $b$ 最近,即 $\vec{b}$ 的投影点。一般情况下向量会有一个分量在列空间里，另一个分量则和列空间垂直

投影矩阵起的作用是保留第一部分，去掉第二部分。

从第二部分开始，

什么向量会垂直于列空间？在 $A$ 转置的零空间里的向量

怎么知道一定会得到0？

$\vec{b}$ 垂直于列空间究竟是什么意思？

如果它垂直所有列，它会在其他某个空间里

②证明：

如果 $b \bot C(A)$ ， $b$ 就在 $N(A^T)$ 里。如果 $b$ 在 $N(A^T)$ 里，则有 $A^Tb=0$ ,可推以下：

投影矩阵 $P$ 乘以 $b$ 的表示为：
$Pb = A(A^TA)^{-1}A^Tb = A(A^TA)^{-1}(A^Tb) = A(A^TA)^{-1}0 = 0$

①证明：

$C(A)$ 里的向量就是 $Ax=b$ 可推如下：
$Pb = A(A^TA)^{-1}A^TAx = A\underbrace{(A^TA)^{-1}(A^TA)}_{相互抵消}x = Ax$

投影矩阵的作用：

投影

$P$ 是投影矩阵， $(I-P)$ 也是投影矩阵：
$b=p+e\\ p=Pb\\ e=(I-P)b$

最小二乘：

投影向量 $p$ 和误差向量 $e$ 的和是 $b$
$p$ 和 $e$ 相互垂直，点积为零
$e$ 垂直 $C(A)$

线性代数的性质：

如果 $A$ 各列线性无关， $A^TA$ 是可逆的

假设： $A^TAx=0$

目标：证明 $A^TS$ 可逆

$x$ 只有零解，所以只需证明 $x$ 一定是零向量

方程：
$\underbrace{x^TA^T}_{Ax向量的转置}Ax = 0 = \underbrace{(Ax)^T(Ax)}_{向量长度的平方}\\ \rightarrow Ax = 0 \\ if(A的线性无关且Ax=0)\rightarrow x = 0$

相互垂直的各列一定是线性无关的

相互垂直的单位向量 $(1,0,0),(0,1,0),(0,0,1)$

标准正交向量组

上一篇下一篇

猜你喜欢

热点阅读