[Stay Sharp]线性支持向量机公式 -- 李航《统计学系

2018-12-26 本文已影响0人三千雨点

线性不可分的线性支持向量机的学习问题变成了：

$\min _ { w , b , \xi } \frac { 1 } { 2 } \| w \| ^ { 2 } + C \sum _ { i = 1 } ^ { N } \xi _ { i }$

$\text { s.t. } \quad y _ { i } \left( w \cdot x _ { i } + b \right) \geqslant 1 - \xi _ { i } , \quad i = 1,2 , \cdots , N$

$\xi _ { i } \geqslant 0 , \quad i = 1,2 , \cdots , N$
以上 $w$ 的解唯一，而 $b$ 的解不唯一，是一个区间。

上面学习问题的对偶问题是（同线性可分模式）：

$\min _ { \alpha } \frac { 1 } { 2 } \sum _ { i = 1 } ^ { N } \sum _ { j = 1 } ^ { N } \alpha _ { i } \alpha _ { j } y _ { i } y _ { j } \left( x _ { i } \cdot x _ { j } \right) - \sum _ { i = 1 } ^ { N } \alpha _ { i }$

$\begin{array} { c l } { \text { s.t. } } & { \sum _ { i = 1 } ^ { N } \alpha _ { i } y _ { i } = 0 } \\ { } & { 0 \leqslant \alpha _ { i } \leqslant C , \quad i = 1,2 , \cdots , N } \end{array}$
求解出 $a ^ { * }$ 后，便可以通过以下公式求出 $w$ 和 $b$ ：

$w ^ { * } = \sum _ { i = 1 } ^ { N } \alpha _ { i } ^ { * } y _ { i } x _ { i }$

$b ^ { * } = y _ { j } - \sum _ { i = 1 } ^ { N } y _ { i } \alpha _ { i } ^ { * } \left( x _ { i } \cdot x _ { j } \right)$

[Stay Sharp]线性支持向量机公式 -- 李航《统计学系

猜你喜欢

热点阅读