算法基本功：SVM part2 - 2019-03-02

上一篇文章推导了针对不等式约束优化问题的KKT条件。

接下来具体到svm 问题上推导: 只有支持向量才决定最优解。

svm 要解决的问题是： 找到使得 几何间隔最大的 分类超平面。

数学表达为：

min

subject to: 

转化为拉格朗日表达式：

L:  + 

kkt 条件：

1.  <= 0                             # g(x*) <=0

2.     同右注释                                                             # L的梯度（在W,b上） = 0，  。               

3.             # g(x*) = 0

对于第三个条件， 结合不等式约束的两类子情况（上一篇文章SVM-part1: KKT条件）

当 系数严格大于0: 必有 g(x*) = 0；

即  , 即样本为支持向量，在‘那’两条分类边界上（你懂的）。

当 系数等于0: 必有g(x*)  严格小于0（#即最优解在可行域内，而非边界.）

即 。

利用第二个条件，我们求出 ：

2.1:    W* =   # L对w 求偏导数，令其为0

2.2:         #  # L对b求偏导数，令其为0

2.3     =  W* + b*,   故 b* = 

综合上述两个推导，我们可以说：最优解W*仅仅是全部 支持向量（且形式为） 的线性组合,与非支持向量无关。

下一章详细说说对偶问题。