《计算机图形学基础》之线性代数

2021-05-28 本文已影响0人烂醉花间dlitf

第五章线性代数

前言

到数学部分就深刻的感受到自己的菜 QAQ，不过没关系，这也说明了这篇文就很适合跟我一样的菜看。

臭猪猪都看不下去了

每一行都在上演小剧场

咦，这是为啥？
哇。好神奇呀~
哎，这又是啥？
哇。好神奇哎~

5.1 行列式

比如向量 $a(1,2)$ ，向量 $b(2,3)$ ，那么行列式 $|ab| = \begin{vmatrix}1&3\\2&4\end{vmatrix}$ 。
二维的行列式就是面积，如下图， $|ab|$ 就是图中平行四边形的面积。

三维的行列式就是体积，如下图，

|abc|

就是图中立方体的体积。

缩放其中一个向量会 等比例 改变整个行列式代表的面积的大小，如图所示：

其中一个向量扩大两倍，整个面积也会扩大两倍
于是有下面的公式：

|(ka)b| = |a(kb)| = k|ab|

错切一个向量不会改变面积，因为底和高没变呀~ 如下图所示：

所以有如下公式：

|(a+kb)b|=|a(b+ka)|=|ab|

行列式满足 “分配律”，如下图所示，左边粗线所围成的区域面积是和右边粗线所围成的区域面积是一样的。

所以有如下公式：

|a(b + c)| = |ab| + |ac|

向量也可以用 笛卡尔坐标系 来表示，比如 $a(2,3)$ 可以表示为 $a=2x+3y$ ，有如下运算：
二维：
$\begin{align} |ab| & = |(x_{a}x + y_{a}y)(x_{b}x + y_{b}y)| \\ & = x_{a}x_{b}|xx| + x_{a}y_{b}|xy| + y_{a}x_{b}|yx| + y_{a}y_{b}|yy| \\ & = x_{a}x_{b}(0) + x_{a}y_{b}(+1) + y_{a}x_{b}(−1) + y_{a}y_{b}(0) \\ & = x_{a}y_{b} − y_{a}x_{b} \\ \end{align}$

三维：
$\begin{align} |abc| &= |(x_{a}x + y_{a}y + z_{a}z)(x_{b}x + y_{b}y + z_{b}z)(x_{c}x + y_{c}y + z_{c}z)| \\ &= x_{a}y_{b}z_{c} − x_{a}z_{b}y_{c} − y_{a}x_{b}z_{c} + y_{a}z_{b}x_{c} + z_{a}x_{b}y_{c} − z_{a}y_{b}x_{c} \end{align}$
(MarkDown 写公式好累呀）

5.2 矩阵

矩阵可以不是方的，行列式必须是方的。但这里的矩阵我们依然只讨论方的。
矩阵数乘：
$2 \begin{bmatrix}1&-4\\3&2\end{bmatrix}=\begin{bmatrix}2&-8\\6&4\end{bmatrix}$
矩阵相加：
$\begin{bmatrix}1&-4\\3&2\end{bmatrix}+ \begin{bmatrix}2&-2\\2&2\end{bmatrix}= \begin{bmatrix}3&-2\\5&4\end{bmatrix}$

矩阵相乘：

矩阵 ~~交换律~~：

矩阵 ~~等号两边同除~~：
也就是说即使 $AB=AC$ ， $B$ 也不一定等于 $C$ 。

矩阵 结合律：
$(AB)C=A(BC)$

矩阵 分配律：
$A(B+C)=AB+AC \\ (A+B)C=AB+AC$

矩阵的逆：
逆这个字的理解可以想象 $\frac{1}{x}\times x = 1$ ，这里的 $1$ 在矩阵中是单位向量而已，一般用 $I$ 来表示：

单位向量
有以下公式：

AA^{−1} = A^{−1}A = I \\ (AB)^{−1} = B^{−1}A^{−1}

矩阵的转置：
不管是不是方的矩阵，都是在心里补全成方的，然后按对角线对称一下就好了：

转置有以下性质：

(AB)^{T} = B^{T}A^{T}

矩阵和行列式 有以下的性质：

矩阵和向量：
我们可以通过一个向量和矩阵相乘来以一定规则改变这个向量，比如将点 $A(x_{a},y_{a})$ 逆时针旋转 90°，那么也可以写成如下的形式，这里的 $\begin{bmatrix}0&-1\\1&0\end{bmatrix}$ 其实是 $\begin{bmatrix}cos90&-sin90\\sin90&cos90\end{bmatrix}$ ，具体怎么来的暂时不需要知道，后面会学到。

向量写在矩阵后面是目前的标准形式，也有老的书上是向量写在矩阵前面的，那需要将矩阵进行转置，如下所示：

使用矩阵表示向量 点乘(内积)：

使用矩阵表示向量 叉乘(外积)：
$a\times b=ab^{T}$

对 矩阵乘向量 的理解：
首先，把概念具象化，假设有一个 $y=Ax$ ，展开来是这样的：
$\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\end{bmatrix}= \begin{bmatrix} a_{11}& a_{12}& a_{13}\\a_{21}& a_{22}&a_{23}\\a_{31}&a_{32}&a_{33}\end{bmatrix} \begin{bmatrix}x_{1}\\x_{2}\\ x_{3}\end{bmatrix}$
然后可以从两个角度来思考，把这个 $3\times 3$ 的矩阵分成三行：
$\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\end{bmatrix}= \begin{bmatrix} - & r_{1}& - \\ - & r_{2}& - \\ - & r_{3} & - \end{bmatrix} \begin{bmatrix}x_{1}\\x_{2}\\ x_{3}\end{bmatrix}= \begin{bmatrix} r_{1}\cdot x \\ r_{2}\cdot x \\ r_{3}\cdot x\end{bmatrix}$
也就是每一行都对 $x$ 做了内积。

把这个 $3\times 3$ 的矩阵分成三列：
$\begin{bmatrix} y_{1} \\ y_{2} \\ y_{3} \end{bmatrix} = \begin{bmatrix} | & | & | \\ l_{1} & l_{2}& l_{3} \\ | & | & | \end{bmatrix} \begin{bmatrix}x_{1} \\ x_{2} \\ x_{3}\end{bmatrix} = x1\begin{bmatrix} | \\ l_{1}\\ | \end{bmatrix} + x2\begin{bmatrix} | \\ l_{2} \\ | \end{bmatrix} + x3\begin{bmatrix} | \\ l_{3} \\ | \end{bmatrix}$

对角矩阵：所有非零元素都出现在对角线上的矩阵

对称矩阵：满足 $A=A_{T}$

（注意，对角矩阵一定是对称矩阵，但对称矩阵不一定是对角矩阵，比如说 $\begin{bmatrix} 1 & 2 \\ 2 &1 \\ \end{bmatrix}$ 。)

正交矩阵：每一行都当成一个向量，模都为 1，并且向量之间两两正交；对于每一列也是一样；并且正交矩阵的行列式值为 1 或者 -1；正交矩阵的逆矩阵就是他们的转置，有 $R_{T}R = I = RR_{T}$ ，这很容易理解，因为在非对角线上都是正交的向量的内积，而在对角线上则是向量自身内积，也就是向量取模。
（注意：正交矩阵跟对角矩阵和对称矩阵没关系... 是正交矩阵不能说明他们就是对角或者对称的）

单位向量 既是对角矩阵，又是对称矩阵，还是正交矩阵。

5.3 矩阵与行列式的计算

行列式的转置与本身相同，可以从面积上理解：

原来的行列式代表的面积

转置之后的行列式代表的面积（与原来一样）

理解行列式的 几何意义 是很有意思的，比如下面的行列式是代表了经过 $A(x_{0},y_{0},z_{0})，B(x_{1},y_{1},z_{1})，C(x_{2},y_{2},z_{2})$ 的平面。很好理解，因为他代表了以 $\overrightarrow{OA}，\overrightarrow{OB}，\overrightarrow{OC}$ 为边所围成的立方体的体积，但体积为零，所以三向量共面。

拉普拉斯展开 计算行列式：
先求余因子，比如下面的 $4\times 4$ 行列式， $a_{22}$ 位置上的 余因子，就是 $\begin{vmatrix} a_{11} & a_{13} & a_{14} \\ a_{31} & a_{33} & a_{34} \\ a_{41} &a_{43} & a_{44} \\\end{vmatrix}$ ，也就是把自身所在行和列去掉之后组成一个新的行列式。因为 $a_{22}$ 的下标和为 $2+2=4$ ，是偶数，所以余因子的符号是正的，如果下标和是奇数，则余因子的下标和是负的。加了正负号的余因子也叫作 代数余因子，写作 $a_{ij}^{c}$

余因子下标正负图示

求出代数余因子之后，可以用任意一行或者任意一列进行展开，上面例子假设是使用的第二列展开，那么结果为：

再看一个带数字的，维度少一点的例子 ~ 是以第一行展开的。

因为行列式结果为 0，所以我们可以判断由每一行（或者每一列，因为行列式与其转置相同）为向量构成的立方体体积为 0。这也就等于说每一行（或者每一列）向量都不是线性独立的，也就是存在一个向量可以由其他向量线性表示。在这里就是

r_{1} = 2(r_{0}+r_{1})

矩阵的逆的计算，公式为：

其中

\begin{bmatrix} a_{11}^{c} & a_{21}^{c} & a_{31}^{c} & a_{41}^{c} \\ a_{12}^{c} & a_{22}^{c} & a_{32}^{c} & a_{42}^{c} \\ a_{13}^{c} & a_{23}^{c} & a_{33}^{c} & a_{43}^{c} \\ a_{14}^{c} & a_{24}^{c} & a_{34}^{c} & a_{44}^{c} \end{bmatrix}

叫做

A

的 伴随矩阵，他是对应位置上 代数余因子（有正负号） 组成的矩阵的转置。
其实很好理解（书上说的，我拿来装逼一下... ），对于在

A^{-1}

的对角线上的运算，其实就是在求

|A|

，所以求出来之后再

÷|A|

，对角线上就都是

1

了，如下所示：

本质是在第一行使用拉普拉斯展开求行列式的值
对于不在对角线上的运算，假设用

A

的第二行去乘伴随矩阵的第一列：

展开来的计算如下：

这个为什么就等于零呢？我们构建另外一个矩阵

B

：

现在假设以 第一行 进行拉普拉斯展开求矩阵

B

对应的行列式的值，那么计算过程应该为：

很神奇，这个式子跟上面的是一样的，而矩阵

B

的结果可以直接判断是

0

，因为第一行和第二行是一样的，也就是说他组成的空间几何体有两条边是一样的，那么体积自然为

0

。
再看一个带数字的例子验证巩固一下 ~

这种求逆矩阵的运算适用于任何矩阵，不只是 $4\times 4$ 的，这里只是为了方便排版；并且这种方式对于大型矩阵来说效率并不高，但在图形学中一般都是小矩阵，所以并没有多大影响。

用矩阵来表示和计算 线性方程（一次方程），下面是一个常见的线性方程组：

我们可以用矩阵来表示：

还可以用更简单的写法 $Ax = b$ ，其中 $A$ 是所有已知的常数组合，也就是上面 $2\times 3$ 的矩阵， $x$ 是所有未知数的列矩阵，也就是上面的 $\begin{bmatrix} x \\ y \\ z \end{bmatrix}$ ， $b$ 是已知的常数列矩阵，也就是上面的 $\begin{bmatrix} 4 \\ -1 \\ 1 \end{bmatrix}$ 。
虽然有很多种解法，但是因为图形学中的矩阵维度都 $≤4$ ，所以只介绍一种，叫做 克莱姆法则（Cramer's Rule），上述方程的解法是：

规则就是，分母是

|A|

,分子是

b

替换了

|A|

中的某一列所产生的的行列式，被替换的列的位置是未知数的位置，比如说

y

在未知数列矩阵中排第二，所以它的分子的 第二列 被

b

替换了。如果

|A|=0

（奇异矩阵）的话，那么除法将没有意义，也就是意味着没有该方程组没有唯一解。

5.4 特征值与矩阵对角化

矩阵 $A$ 的特征向量 $a$ 和特征值 $\lambda$ （lambda）满足 $Aa = \lambda a$ ，这也就意味着经过了 $A$ 的变换（有可能是旋转，缩放等），向量 $a$ 的方向不变。我们先假设 $A$ 存在特征向量和特征值，那么有如下过程：
$Aa = \lambda a \\ Aa=\lambda Ia \\ (A - \lambda I)a = 0$
因为我们假设特征向量存在，所以 $a≠0$ ，所以有 $|A-\lambda I| = 0$ ，为了方便表述，我们假定 $A$ 是 $2\times 2$ 的，那么有如下式子：

a_{ij}

都是已知的，所以我们可以知道

\lambda

有两个值（有可能是重根，实数或者复数）。对于 对称矩阵 （

A=A^{T}

）来说，如果矩阵内都是实数，那么它的特征值也都是实数，如果两个特征值不同的话，那么它的两个特征向量就是正交的，求出特征向量和特征值之后，可以把

A

写成

A=QDQ^{T}

的形式。其中

Q

是一个正交矩阵，

D

是对角矩阵，

Q

的每一列是一个特征向量，

D

的对角线是特征值。把

A

变成这种形式也叫作 特征值分解。

带数字的练习来验证一下理解是否出现偏差：

求出了两个特征值 $\lambda_{1} = 2.618,\lambda_{2} = 0.382$ ，然后分别带回原来的式子求对应的特征向量，结果为 $(0.8507,0.5257),(-0.5257,0.8507)$ （注意这里的是非平凡解，不是 $x=y=0$ ），可以看到确实是正交的，并且对于每一个特征向量，其实都是无数个平行的向量，这里只是取了单位向量而已。

最后写成 $A=QDQ^{T}$ 的形式：

上面的特征值分解只针对对称矩阵，对于非对称矩阵，特征值分解不太好搞（？），而且即使 $A$ 全是实数的，也可能会出现复数的特征值和特征向量。所以针对非对称矩阵（甚至不是方的矩阵），我们一般使用 奇异值分解（singular value decomposition (SVD)） ， $A$ 将会被分解成 $A=USV^{T}$ ，这与特征值分解的区别在于左边和右边的正交矩阵不再是同一个。
$U$ 和 $V$ 可能是不同的正交矩阵， $U$ 的列是 $A$ 的左奇异向量， $V$ 的列是 $A$ 的右奇异向量， $S$ 的对角线是 $A$ 的奇异值。当 $A$ 是对称矩阵，并且所有特征值都是非负的时候，那么奇异值分解跟特征值分解没有什么不同。首先我们定义 $M=AA^{T}$ （注意我们要求的还是 $A$ ， $M$ 只是我们构造出来的对称矩阵，并且这样构造出来的矩阵一定是对称的，因为 $M^{T}=(AA^{T})^{T}=AA^{T}=M$ ），并假设我们可以对矩阵 $M$ 进行 SVD：

以上式子是基于三条定理（上面都提过的）：

$(BC)^{T}=C^{T}B^{T}$
$V^{T} = V^{-1}，V^{-1}V=I$ ， $V$ 是正交矩阵
$S^{T}=S$ ， $S$ 是对角矩阵

看到 $M=US^{2}U^{T}$ 的形式，有木有恍然大悟~ 这其实就是 $M$ 的特征值分解， $U$ 相当于上面的 $Q$ ， $S^2$ 相当于上面的 $D$ 。所以我们发现矩阵的奇异值就是它和自身转置的乘积的特征值的平方根，左奇异向量就是它和自身转置的乘积 ( $AA^{T}$ ) 的特征向量，右奇异向量就是自身转置和自身乘积 ( $A^{T}A$ )的特征向量。

做个题巩固一下：

$M$ 是上一节的矩阵，我们知道它的特征值为 $\lambda_{1} = 2.618,\lambda_{2} = 0.382$ ，特征向量为 $(0.8507,0.5257),(-0.5257,0.8507)$ 。所以 $U=\begin{bmatrix}0.8507 & -0.5257 \\ 0.5257 & 0.8507 \end{bmatrix}，S^{2} = \begin{bmatrix}2.618 & 0 \\ 0 & 0.382\end{bmatrix}$ ，所以 $S = \begin{bmatrix}\sqrt{2.618} & 0 \\ 0 & \sqrt{0.382}\end{bmatrix}$ 。又因为 $A=USV^{T}$ ，所以将 $US$ 带入得：

将 $A=USV^{T}$ 稍微变换一下形式成：

S

是对角矩阵，所以

S^{-1}

就是在对应位置上的倒数。我们使用

\sigma_{i}

（sigma）来标记奇异值再说一次~，对于对称矩阵来说，奇异值和特征值是没有区别的。

常见问题解答（FAQ）

为什么矩阵乘法要定义成这个亚子，不能对应元素相乘嘛？
答：为了良好的计算属性，为了方便（我 瞎翻译 的，不过大概就是这个意思，感兴趣可以去看原文）
有时特征值和奇异值是一回事，有时一个是另一个的平方。哪个是对的?
答：对于 实数对称矩阵，并且它的特征值不是负数，那么它的特征值和奇异值就是一样的。如果 $A$ 不是对称的，就构建 $M=AA^{T}$ ， $M$ 是对称的并且有非负的特征值，并且 $A$ 和 $A^{T}$ 的特征值是一样的，为 $M$ 的特征值（奇异值）的平方根。

作业中的定理

如果矩阵的列是正交的，那么行也是正交的
对角矩阵的奇异值使其对角元素
对于三个 3D 向量 $a,b,c$ ，存在 $|abc|=a\times{b}\cdot{c}$
$a,b,c$ 组成的空间 四面体 的体积是 $|abc|/6$

《计算机图形学基础》之线性代数

第五章线性代数

前言

5.1 行列式

5.2 矩阵

5.3 矩阵与行列式的计算

5.4 特征值与矩阵对角化

常见问题解答（FAQ）

作业中的定理

猜你喜欢

热点阅读

《计算机图形学基础》之线性代数

第五章 线性代数

前言

5.1 行列式

5.2 矩阵

5.3 矩阵与行列式的计算

5.4 特征值与矩阵对角化

常见问题解答（FAQ）

作业中的定理

猜你喜欢

热点阅读

第五章线性代数