距离与范数

2023-02-17 本文已影响0人巴拉巴拉_9515

什么是距离？

举例一：计算两点之间直线的长度

初高中就学习的欧几里得距离，根据勾股定理 $a^2+b^2=c^2$ ，可以计算出斜边长度为 $c = \sqrt{a^2+b^2}$ ，扩展到三维，n维，得到欧式距离公式 $=\sqrt{\sum_{i=1}^n(x_i-y_i)^2}$ 。

举例二：两个地点的距离

从地点A走到地点B的距离计算，不能使用欧几里得距离了，没办法走蓝色这条直线。这里使用曼哈顿距离，把每一小段的距离都加起来
$=\sum_{i=1}^n |x_i -y_i|$
由于距离是必大于0的，所以要加上绝对值。

举例三：棋子的最短距离

棋盘上某棋子可以前后、左右、斜向行走，从A点到B点的最短距离是 $=max\{|x_1-y_1|, ..., |x_n-y_n|\}$ ，我们称这种距离度量为切夫雪比距离。

更多距离的解释

通过上面三个例子，我们可以定义距离。定义一个东西我们往往把它的属性摘出来，例如定义水果，我们提取出“可食”、“含水分”等特性。所以我们定义距离满足“非负性”、“对称性”、“三角不等性”。

什么是范数？

范数就是点到零点的距离。所以前面的 $y_i=0$

$欧几里得范数 = ||x||_2 = \sqrt{\sum_{i=1}^n x_i^2}$
$曼哈顿范数 = ||x||_1 = \sum_{i=1}^n |x_i|$
$切夫雪比范数=||x||_{\infty} = \max\{|x_1|, |x_2|, ..., |x_n| \}$

我们来定义一下范数。
在距离定义的基础上，多了数乘要求。就像热带水果和水果一样，热带水果比水果多一个属性限制。所以范数是属于距离的。使用符号 $||x||$ 表示x的范数。

我们发现欧几里得范数、曼哈顿范数、切夫雪比范数是有规律的，满足公式 $(\sum_{i=1}^n |x_i|^p)^{\frac{1}{p}}$
当p=1时，就是曼哈顿范数，因此记录为 $||x||_1$ ，也成为L1范数
当p=2时，就是欧几里得范数，因此记录为 $||x||_2$ ，也成为L2范数
当p= $\infty$ 时，就是切夫雪比范数，因此记录为 $||x||_{\infty}$ ， $L_{\infty}$ 范数

ML中距离的度量

L1 Loss和L2 Loss

回归问题中，模型学习历史数据，然后做出预测，如何判断预测向量和实际值的距离呢？
MAE就是在曼哈顿距离的基础上加了mean(求均值)，也被称为 L1 Loss
MSE在欧几里得距离上做了延申，也被称为L2 Loss

更多回归度量指标

L1,L2正则

在曼哈顿范数（L1范数）和欧几里得范数（L2范数）上展开，在原本损失 $J(w)$ 的基础上，加了限制。

小结

指标	公式	备注
曼哈顿距离	$\sum_{i=1}^n \|x_i -y_i\|$
L1 损失	$\frac{1}{n}\sum_{i=1}^n \|y_i - \hat{y_i}\|$	MAE
L1 范数	$\sum_{i=1}^n \|x_i\|$	$\|\|x\|\|_1$
L1 正则	$J(w) + c\|\|w\|\|_1$
欧式距离	$\sqrt{\sum_{i=1}^n(x_i-y_i)^2}$
L2 范数	$\sqrt{\sum_{i=1}^nx_i^2}$	$y_i=0$
L2 损失	$\frac{1}{n}\sum_{i=1}^nx_i^2$	$\|\|w\|\|_2$
L2 正则	$J(w) + c\|\|w\|\|_2^2$