2020机器学习SVM(3)

2020-03-31 本文已影响0人 zidea

machine_learning.jpg

甜点

生活中有太多束缚我们无法打破，吃的太多无法消化；睡得太少感觉困倦。这一切都是创造时预先设定，有了约束也就是有了边界。

001.png

SVM

线性可分
支持向量到线的距离相等
支持向量距离到线距离越大越好

我们有简单语句描述了 SVM 的特点，我们知道距离就是支持向量到分隔平面距离最大，那么我们先看如何用数学的语言来描述点到平面的距离这件事。先抛出结论，这就是 x 到 $wx + b$ 平面距离表达式这里 w 和 x 都是向量。其中 w 是平面法向量。这里可能有一些知识点大家在大学毕业后就很少接触，这里我们在给大家分享一下什么是法向量以及如何用数学语言描述点平面距离这件事。

$\lambda = \frac{|w \cdot x + b|}{||w||}$

法向量

下面 $ax_1 + bx_2 + c = 0$ 这个函数表示一个平面，在平面上一个 A 和 B 两个点分别用向量 $(a_1,a_1)$ 和 $(b_1,b_2)$ 表示平面上两个点。

$ax_1 + bx_2 + c = 0$
直线 $\vec{AB}$ 可以表示下面
$\begin{bmatrix} a_1\\ a_2 \end{bmatrix} - \begin{bmatrix} b_1\\ b_2 \end{bmatrix} = \vec{AB}$
然后将 $\vec{AB}$ 和向量 $(a,b)$ 做点积可以得到 $a_1a - ab_1 + ba_2 - b_2b$
$\begin{bmatrix} a_1 - b_1 \\ a_2 - b_2 \end{bmatrix} \cdot \begin{bmatrix} a\\ b \end{bmatrix} = a_1a - ab_1 + ba_2 - b_2b$
然后我们通过加一个 c 然后减去 c 主要是为了化简。
$a_1a + a_2b + c -(ab_1 + bb_2 + c)$
因为 A 点 $(a_1,a_2)$ 和 B 点 $(b_1,b_2)$ 都在 $ax_1 + bx_2 + c = 0$ 平面上带入上式得到
$\vec{AB} \begin{bmatrix} a\\ b \\ \end{bmatrix} = 0$

点到直线的距离

其中 $[a,b]^T$ 就是 w ，因为 $vec{AB} w = 0$ 说明 w 与线段 AB 是垂直，说明 w 向量就代表平面法线，然后我们再讨论如何表示点到平面的距离
$\vec{x_0} = \begin{bmatrix} x_1^{0}\\ x_2^{0} \end{bmatrix}$
$\vec{x_0}$ 表示平面外的一个点，而 $\vec{A}$ 表示平面上一个点
$\vec{A} = \begin{bmatrix} a_1\\ a_2 \end{bmatrix}$

$\vec{x_0} - \vec{A} = \begin{bmatrix} x_1^{0} - a_1\\ x_2^{0} - a_2 \end{bmatrix}$

$\vec{x_0} - \vec{A} = \begin{bmatrix} x_1^{0} - a_1\\ x_2^{0} - a_2 \end{bmatrix} \begin{bmatrix} w_1\\ w_2 \end{bmatrix} = \frac{ \left[ w_1x_1^0 + w_2x_2^0 - (w_1a_1 + w_2a_2) \right] }{||w||}$

$\frac{ \left[ w_1x_1^0 + w_2x_2^0 + b - (w_1a_1 + w_2a_2 + b) \right] }{||w||}$
因为 $(a_1,a_2)$ 点在平面 $w_1x_1 + w_2x_2 + b =0$ 上所以 $w_1a_1 + w_2a_2 + b = 0$ 就得到了
$\frac{ w_1x_1^0 + w_2x_2^0 + b }{||w||} = \frac{\vec{w} \vec{x_0} + b}{||w||}$

然后我们在推导一下面式子为什么成立
$wx_0 + b = 1$
我们今天求得分隔平面就是就是下面式子，这个大家应该没有什么疑问吧。
$wx+ b = 0$
$\frac{w}{r} x + \frac{b}{r} = 0$
然后我们同时除以 r 得到函数和原有函数应该是一个同一个函数
$2x_1 + 2x_2 + 2 = 0$