支持向量机（SVM）

2020-03-14 本文已影响0人 0843d07b95d5

都说SVM有三宝：间隔、对偶、核技巧

支持向量机模型大致分为三种如下图1所示。后文我们一一介绍。

图1

1.线性可分SVM

感知机找出将线性可分数据划分开的超平面，线性可分SVM是在寻找最优的那一条！

1.1 几何角度看线性可分SVM

对与如图2所示的线性可分数据集，我们需要找一条可以将数据分开的直线，这样的直线有很多。那么如何找到最优的那一条呢？

图2
图2所示的两个超平面都可以将训练数据划分开，但是如果测试数据上出现了图3的情况，绿线所示的超平面依然可以将数据划分开，但是黑线所示的超平面的测试误差就没那么好了。

图3

1.2 转化为数学优化问题

我们通常使用硬间隔最大化的策略，下面我们进行推导：
设训练集为 $(x_i,y_i)\in D$ ,超平面为 $w^Tx_i + b = 0$ 我们的目的就是找到最优的 $w^T$ 和 $b$ 。
首先该超平面需要满足条件：
$\begin{align} w^Tx_i +b>0,y_i&=+1 \\ w^Tx_i +b<0,y&=-1 \end{align} \rightarrow y_i (w^Tx_i+b)>0$
设： $\exists \alpha >0 \ s.t \ y_i (w^Tx_i+b)\ge \alpha$

则： $\frac {1}{\alpha}y_i (w^Tx_i+b)\ge \frac {\alpha}{\alpha}$

即： $y_i (\frac {1}{\alpha}w^Tx_i+\frac {1}{\alpha}b)\ge+1$

令： $\frac {1}{\alpha}w^T= w^T, \frac {1}{\alpha}b =b$

得： $y_i (w^Tx_i+b)\ge +1$ .........公式(1)

$d$ = $\frac {1}{||w||}|w^Tx_i+b|$ 为点到超平面的距离，距离超平面最近的点使得上式(1)等号成立。这些点称为支持向量，两个异类到超平面的距离的和为 $\frac {2}{||w||}$ 我们称他为间隔。所以最大间隔策略可以表示为 $Max\frac {2}{||w||}$ 等价于 $Min{||w||} \rightarrow Min(ww^T )$ 所以优化问题转化为：
$Min(ww^T )\ s.t \ y_i (w^Tx_i+b)\ge1$

支持向量机（SVM）

1.线性可分SVM

1.1 几何角度看线性可分SVM

1.2 转化为数学优化问题

猜你喜欢

热点阅读