向量范数和矩阵范数

2021-10-05 本文已影响0人 Cache_wood

线性代数中最有用的一些运算符是范数（norm）。非正式地说，一个向量的范数告诉我们一个向量有多大。这里考虑的大小（size）概念不涉及维度，而是分量的大小。

在线性代数中，向量范数是将向量映射到标量的函数 f 。向量范数要满足一些属性。

给定任意向量 x ，第一个性质说，如果我们按常数因子 α 缩放向量的所有元素，其范数也会按相同常数因子的绝对值缩放：
$f(\alpha x) = \alpha f(x)$
第二个性质是我们熟悉的三角不等式:

$f(x+y) \leq f(x) + f(y)$

第三个性质简单地说范数必须是非负的:

$f(x) \geq 0$

最后一个性质要求范数最小为0，当且仅当向量全由0组成。
$\forall x,[x]_i =0 \Leftrightarrow f(x) = 0$

事实上，欧几里得距离是一个范数：具体而言，它是 $L_2$ 范数。假设 n 维向量 x 中的元素是 $x_1,…,x_n$ ，其 $L_2$ 范数是向量元素平方和的平方根：
$||x||_2 = \sqrt{\sum_{i=1}^nx_i^2}$

其中，在 $L_2$ 范数中常常省略下标 2 ，也就是说， $||x||$ 等同于 $∥x∥_2$ 。

在深度学习中，我们更经常地使用 $L_2$ 范数的平方。你还会经常遇到 $L_1$ 范数，它表示为向量元素的绝对值之和：
$||x||_1 = \sum_{i=1}^n|x_i|$

与 $L_2$ 范数相比， $L_1$ 范数受异常值的影响较小。为了计算 $L_1$ 范数，我们将绝对值函数和按元素求和组合起来。

$L_2$ 范数和 $L_1$ 范数都是更一般的 $L_p$ 范数的特例：
$||x||_p = (\sum_{i=1}^n |x_i|^p)^{\frac{1}{p}}$

类似于向量的 $L_2$ 范数，矩阵 $X∈R^{m×n}$ 的弗罗贝尼乌斯范数（Frobenius norm）是矩阵元素平方和的平方根：
$||X||_F = \sqrt{\sum_{i=1}^{m}\sum_{j=1}^n}x_{ij}^2$

弗罗贝尼乌斯范数满足向量范数的所有性质，它就像是矩阵形向量的 $L_2$ 范数。