第15课子空间投影

2019-10-29 本文已影响0人 rascalpotato

投影

想找到直线上离某点最近的一点。将 $b$ 投影到 $a$ ， $a$ 是一个一维空间，找到离线 $b$ 最近的点，该投影点为 $p$ ， $e$ 为 $b$ 与 $p$ 之间的误差，投影 $p$ 是 $a$ 的 $x$ 数，所以我们要找的就是 $x$ 。

正交条件式子（14-(1)：表示第14课第一个表达式）

a垂直e得到如下方程：
$\begin{eqnarray} a^T\underbrace{(b-\overbrace{xa}^{p})}_e=0 \tag{1} \\ \rightarrow xa^Ta=a^Tb \tag{2} \\ \rightarrow x = \frac {a^Tb} {a^Ta} \tag{3} \\ p=ax \tag{4} \end{eqnarray}$

$(3)x$ 的表达式；

$(4)$ 映射的式子(投影)：投影 $p$ 是一个投影矩阵作用于随便某个向量
$p_点 = a\frac{a^Tb}{a^Ta} = \frac{aa^Tb}{a^Ta}= \frac{aa^T}{a^Ta}b = P_{matrix}b\\ P_m=\frac{aa^T}{a^Ta}$
$a^Ta$ 是一个数，即 $\vec{a}$ 长度的平方 $\|\vec {a}\|^2$

$aa^T$ 是一列乘一行是一个矩阵

$P_mb$ 属于 $P_m$ 的列空间到了 $a$ 这条线上

性质：

$P_m$ 的列空间，随便你用什么乘以这个矩阵，总会停在它的列空间里。用任何向量乘以这个矩阵，你总会得到在它列空间里的向量，这就是列空间的作用
$P_m$ 的秩是1，一列乘一行，得到一个秩为1的矩阵，这个列是空间的基
$P_m^T=P$ ，对称
$P_m^2=P_m$ ,投影2次的结果和投影一次的结果是一样的

为什么要投影

先说说为啥要这个投影，然后就会明白它究竟是个啥，最后运用它。

为什么要讲投影？
因为 $Ax=b$ 也许会无解，由于“坏数据”过多，只能求最接近那个问题的解。
然而哪个才是最接近的解呢？
$Ax$ 总是在 $A$ 的列空间里，而 $b$ 不一定在，这是问题所在。
我们要做微调 $b$ ，将它变成列空间中最接近它的那一个，
将问题换作求解，有解的 $A\hat{x}=p$ ， $p$ 是 $b$ 在列空间上的投影，这就是做投影的原因，因为必须找个解出来， $\hat{x}$ 不是那个不存在的 $x$ ，而是最接近解，找出最好的那个投影
列空间内最合适的右侧向量是什么，它必须很接近 $b$ ，然后就能求解了

三维空间里一平面，一个不在平面上的 $b$ 向量，将 $b$ 投影在平面上，平面的一组基 $a_1,a_2$ ，得到使 $b$ 投影到平面上最近点的公式

平面是矩阵 $A$ 的列空间 $A=\begin{bmatrix}a_1&a_2\end{bmatrix}$ 。向量 $b$ ，通常不在列空间里，若 $b$ 在列空间里，投影结果就是 $b$ 自己，通常情况会有个误差向量 $e=b-p$ ，通常不为 $0$ ， $p=\hat{x}_1a_1+\hat{x}_2a_2=A\hat{X}$

投影 $p=A\hat{X}$ ，求 $\hat{X}$ ;

问题关键： $e=b-A\hat{X}$ ； $e$ 垂直平面， $e$ 垂直 $a_1$ ， $e$ 垂直 $a_2$
$\begin{eqnarray} a_1^Te=0 \rightarrow a_1^T(b-A\hat{X})=0 \tag{5} \\ a_2^Te=0 \rightarrow a_2^T(b-A\hat{X})=0 \tag{6} \\ \end{eqnarray}$
方程 $(5)$ 和 $(6)$ 表示成矩阵形式：
$\underbrace{\begin{bmatrix}a_1^T\\a_2^T\end{bmatrix}}_{A^T}(b-A\hat{X})= \begin{bmatrix}0\\0\end{bmatrix} \rightarrow A^T\underbrace{(b-A\hat{X})}_e = 0 \rightarrow A^TA\hat{X}=A^Tb$
$e$ 位于 $A^T$ 的零空间( $N(A^T)$ )， $e$ 垂直 $A$ 的列空间( $C(A)$ )

$\hat{X}$ 是什么？是方程的解
$\hat{X} = (A^TA)^{-1}A^Tb \tag{7}$
$p$ 投影是什么？
$p=A\hat{X}= A(A^TA)^{-1}A^Tb \tag{8}$
$P$ 投影矩阵是什么？
$P = A(A^TA)^{-1}A^T \tag{9}$
$(9)$ 式括号中的逆运算不能拆开，除非 $A$ 为可逆方阵 ,因此 $(9)$ 式为投影矩阵的唯一形式

三维投影矩阵 $P$ 的特性与一维是一样的

最小二乘拟合直线

点数据：

(1,1),(2,2),(3,2)

未知方程(拟合直线方程)
$b=c+Dt\tag{10}$
将点数据分别代入未知方程，得到如下3个方程：
$\begin{eqnarray} c+D=1 \\ c+2D=2 \\ c+3D=2 \\ \end{eqnarray}$
以下为方程的矩阵形式：
$\underbrace{\begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix}}_{A} \underbrace{\begin{bmatrix}c\\D\end{bmatrix}}_{X}= \underbrace{\begin{bmatrix}1\\2\\2\end{bmatrix}}_b$
$AX=b$ 无解，但同时两边乘以 $A^T$ ，得如下形式:

$A^TA\hat{X}=A^Tb \tag{11}$

$(10)$ 式可以求出最优解 $\hat{X}$ :
$\hat{X}=\begin{bmatrix}c\\D\end{bmatrix}$

$(10)$ 式左边得 $(12)$ 式：
$A^TA\hat{X}= \begin{bmatrix}1&1&1\\1&2&3\end{bmatrix} \begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix} \begin{bmatrix}c\\D\end{bmatrix} = \begin{bmatrix}3&6\\6&14\end{bmatrix} \begin{bmatrix}c\\D\end{bmatrix} \tag{12}$

$(10)$ 式右边得 $(13)$ 式：
$A^Tb= \begin{bmatrix}1&1&1\\1&2&3\end{bmatrix} \begin{bmatrix}1\\2\\2\end{bmatrix} = \begin{bmatrix}5\\11\end{bmatrix} \tag{13}$

由 $(10)$ 式推出 $(12)=(13)$ ：
$\begin{bmatrix}3&6\\6&14\end{bmatrix} \begin{bmatrix}c\\D\end{bmatrix} = \begin{bmatrix}5\\11\end{bmatrix} \rightarrow \begin{cases} 3c+6D=5 \\ 6c+14D=11 \end{cases} \rightarrow \begin{cases} c=\frac{2}{3}\\ D=\frac{1}{2} \end{cases}$
将 $c$ 和 $D$ 代入 $(10)$ 式得最优直线:
$b=\frac{2}{3}+\frac{1}{2}t \tag{14}$

$\|AX-b\|^2=\|e\|^2=e_1^2+e_2^2+e_3^2$
$p_1,p_2,p_3$ 为线上的点，在列空间里，是矩阵 $A$ 列的一个组合

将 $t=1,2,3$ 代入方程 $(14)$ 得：
$p_1=\frac{7}{6},p_2=\frac{5}{3},p_3=\frac{13}{6}$

$e_1=-\frac{1}{6},e_2=\frac{2}{6},e_3=-\frac{1}{6}$
$\begin{cases} b_1=p_1+e_1\\ b_2=p_2+e_2\\ b_3=p_3+e_3 \end{cases} \rightarrow \underbrace{\begin{bmatrix}\frac{7}{6}\\\frac{5}{3}\\\frac{13}{6}\end{bmatrix}}_p + \underbrace{\begin{bmatrix}-\frac{1}{6}\\\frac{2}{6}\\-\frac{1}{6}\end{bmatrix}}_e= \underbrace{\begin{bmatrix}1\\2\\2\end{bmatrix}}_{b}$

第15课子空间投影

投影

为什么要投影

最小二乘拟合直线

猜你喜欢

热点阅读

第15课 子空间投影

投影

为什么要投影

最小二乘拟合直线

猜你喜欢

热点阅读

第15课子空间投影