2020 机器学习之SVM(F)

2020-01-17 本文已影响0人 zidea

machine_learning.jpg

我们发现 i 和 j 都是从 1 取到 N 的，对偶形式 i j 也就是 alpha1 需要和从 alpha1 到 alphaN 相乘。这里还有一个约束条 $\sum_i \alpha^{(i)}y^{(i)}$ 件才能够。

$\max_{\alpha_i} (\min_{w,b} \frac{1}{2} ||w||^2 + \sum_i \alpha^{(i)} \left( 1 - y^{(i)}(wx^{(i)} + b) \right) )$
刚刚我们化简部分就是这部分进行化简
$\min_{w,b} \frac{1}{2} ||w||^2 + \sum_i \alpha^{(i)} \left( 1 - y^{(i)}(wx^{(i)} + b) \right)$

通过化简我们现在将取最小问题就变成怎么求alpha_i 最大的问题。

SMO 算法通过固定一个 alpha 然后通过不断循环其他 alpha 值来求取最优解，这也是多项式优化方法。今天我们主要关注拉格朗日乘子优化算法。通过计算我们得到一组最优 alpha
$\alpha_{*} = (\alpha_{*}^{(1)},\alpha_{*}^{(2)},\dots,\alpha_{*}^{(N)})$
然后根据上面推导就可以通过 alpha 的解出 w
$w^{*} = \sum_i \alpha_{*}^{(i)} y^{(i)} x^{(i)}$
然后通过
$y^{(i)} (w x^{(i)} + b - 1) = 0$

接下来详细解释一下这个这个式子，其中会用到我们之前学习过知识，如果理解有困难可以回头看一看
$L = \frac{1}{2} ||w||^2 + \sum_i \alpha^{(i)}(1 - y^{(i)}(wx^{(i)} + b))$

如果我们对点判对了，那么就代表 $y^{(i)}(wx^{(i)} + b))$ 要大于等于 1 所有 $(1 - y^{(i)}(wx^{(i)} + b))$ 这个数是小于等于 0 而之前我们已经假设 $\alpha \ge 0$ ，那么所以 $\alpha^{(i)}(1 - y^{(i)}(wx^{(i)} + b))$ 乘以一个大于 0 $\alpha$ 后做累加，这个数是小于 0 的，我们的目的对这个求最大值 L 就，需要让 $\sum_i \alpha^{(i)}(1 - y^{(i)}(wx^{(i)} + b))$ 等于 0 ，而对于那些远离边界点 $y^{(i)}(wx^{(i)} + b > 0$ 所以这些点（如）的 $\alpha$ 就为 0 而对于那些落在分界面的点，也就是分隔平面的支持点因为他们满足 $y^{(i)}(wx^{(i)} + b = 0$ 所以他们对应 $\alpha$ 是大于 0 的数。如图

屏幕快照 2020-01-17 上午5.39.06.png

这里在补充说当在分隔边界点也就是我们最优解在约束条件上，这是时候就变成等式约束条件的优化问题。
而且我们可以看出在 SVM 问题中落在分隔平面上点起着主要作用，而其他被正确分类点作用没有那么大。所以这点才有了名字suport vector ，在过去只有地位高的人才有名字。

这个从侧面反映大部分数据对于 SVM 分类边界的确定是作用不大，因为他们远离边界很容易就可以分辨他们类别，而是那些靠近边界的点是重要，所以我们只要找一个线性函数可以把他们分对就找到了 SVM 的最优分界线。

在做线性回归时候，我们对损失函数做正则化处理与上面 SVM 有点类似，这里我们对下面式子先不做过多解释，随后会在逻辑回归模型给大家分享，大家只要知道我们许多模型并不是孤立的，是可以相互借鉴的。
$f(x) = L_{\theta} + ||\theta||_2$

$f(x) = L_{\theta} + ||\theta||_1$

这里再解释一下什么是最大最小问题，以及我们为什么要通过转换最大最小问题进行求解，我个人认为这里是一个比较难理解的知识点，花了一定时间才算稍微明白点。
$\min_x \max_{\lambda} L(x,\lambda) \Rightarrow x^2 - \lambda(x-b)$
我们KKT 条件就是想要求 lambda 的最大值也就是,我们还是那个例子来说明一下，这里我们要求 lambda 的最大值和 L最小值这是两个相对独立问题，所以我们可以调整顺序，因为求 lambda 最大比较繁琐，好了今天先到这里，下回继续详细说一下。
$\max_{\lambda} \min_x L(x,\lambda) \Rightarrow x^2 - \lambda(x-b)$

wechat.jpeg

2020 机器学习之SVM(F)

猜你喜欢

热点阅读