机器学习中的矩阵

2018-08-13 本文已影响33人水之心

预备知识

先上数学中的几个定理与定义.

设 $X$ 是数域 $\mathcal{K}$ (实数域或复数域) 上的内积空间^[1], $x, y \in X$ , $M, N \subset X$ :

对于 $\forall x \in X$ , 通常被称为点
若内积 $(x, y) = 0$ , 则称 $x$ 与 $y$ 正交, 记作 $x \bot y$ .
若有 $\forall y \in M, x \bot y$ , 则称 $x$ 与 $M$ 正交, 记作 $x \bot M$ .
若有 $\forall x \in M, y \in N, x \bot y$ , 则称 $M$ 与 $N$ 正交, 记作 $M \bot N$ .
记 $M^{\bot} = \{ x \in X| x \bot M\}$ , 称 $M^{\bot}$ 为 $M$ 在 $X$ 中的正交补.

【投影与正交解】设 $X$ 是内积空间, $M_1, M_2$ 是 $X$ 的两个子空间, 而且 $M_1 \bot M_2$ . 若 $\forall x \in X$ , 都有唯一的分解式:
$x = x_1 + x_2, \;\; x_1 \in M_1, x_2 \in M_2$
则称 $X$ 为 $M_1$ 与 $M_2$ 的正交和, 记作 $X = M_1 \oplus M_2$ .

【投影判别准则】设 $M$ 是内积空间 $X$ 的线性子空间 ( $x \in X, x_0 \in M$ ), 则有
$x-x_0 \in M^{\bot} \Leftrightarrow ||x-x_0|| = d(x, M)$
也就是说, $x_0$ 是 $x$ 关于 $M$ 的最佳逼近.

【正交分解定理】设 $X$ 是内积空间, 若 $A$ 是 $X$ 的完备子空间, 则 $X$ 可以分解为 $X = A \oplus A^{\bot}$ .

【最佳逼近问题】设 $X$ 是内积空间, $x \in X, \{x_i\}_{i=1}^n \subset X$ 且线性无关. 对于 $\{\alpha_i\}_{i=1}^n \subset \mathcal{K}$ , 有
$||x - \displaystyle\sum_{i=1}^n \alpha_ix_i|| = \inf_{\{\beta_i\}_{i=1}^n \subset \mathcal{K}} ||x - \displaystyle\sum_{i=1}^n \beta_ix_i||$