《统计学习方法》-支持向量机

2018-11-16 本文已影响0人 Joe_WQ

date: 2018-1-31
支持向量机是找到一个间隔最大的超平面，最大的将不同类数据分开。

线性支持向量机

模型

硬间隔：
$分界面：\omega x+b=0\\ y=sign(\omega x+b)$
软间隔：
$分界面：\omega^* x+b^*=0\\ y=sign(\omega^* x+b^*)\\ 其中\omega^*的解是唯一的，而b^*的解是在一个区间内$

策略

采用的是最大间隔的策略，也就是最小的分类误差，在解最大化点 $x_i$ 到超平面的距离 $\gamma_i = y_i(\frac{\omega x_i}{\left \| \omega \right \|}+\frac{b}{\left \| \omega \right \|})$ 中，可以推出目标函数。

硬间隔凸二次规划问题（原始问题）：
$\begin{aligned} \min_{\omega,b}\hspace{1em}&\frac{1}{2}\left \| \omega \right \|^2\\ s.t.\hspace{1em}& y_i(\omega x_i+b)\geqslant 1 \end{aligned}$
软间隔凸二次规划问题（原始问题）：
$\begin{aligned} \min_{\omega,b}\hspace{1em}&\frac{1}{2}\left \| \omega \right \|^2 + \sum_{i=1}^{N}\xi_i\\ s.t.\hspace{1em}& y_i(\omega x_i+b)\geqslant 1 - \xi_i,\: i=1,2,\cdots,N\\ &\xi_i \geqslant 0,i=1,2,3,\cdots,N \end{aligned}$

这两个的对偶问题形式写起来较复杂，使用内积加快运算速度。

核函数

将输入空间（欧式空间）映射到特征空间（希尔伯特空间）：
$\phi(x):\chi\rightarrow \mathcal{H}$

《统计学习方法》-支持向量机

线性支持向量机

模型

策略

核函数

猜你喜欢

热点阅读