数据科学家每天写500字书房就是我的全世界

如何通过对偶问题求解线性可分 SVM

2018-12-06  本文已影响41人  不会停的蜗牛

我们最终是想要求出最大间隔超平面

所以需要计算出约束条件下的 w和b 这两个参数,进而得到最大间隔超平面的表达式

求解方法是将原问题转化为其对偶问题进行求解,

这个过程分为四步,

1. 首先原问题需要满足强对偶性的三个条件

2. 将原问题转化为拉格朗日函数

3. 求拉格朗日函数的下确界函数

4. 求这个下确界函数的极大值,即要对偶问题的最优解

对于线性可分 SVM 来说,根据上面的四个步骤进行求解:

1. 首先它是符合强对偶的三个条件的,

2. 然后求出它的拉格朗日函数

3. 再求下确界函数,方法是对W和b求偏导,令其等于零

4. 接着需要对下确界函数求极大值,需要将极大值问题转化为极小值问题,用 SMO算法求出参数向量 alpha

5. 又因为 alpha 对应的(x,y)必然是支持向量,所以得出 b 的表达式

6. 至此 w 和 b 表达式都得到了,进而得到了最大分割超平面的表达式

7. 接着也就构造出了决策函数


求解方法是将原问题转化为其对偶问题进行求解,这个过程分为四步:

1. 首先原问题需要满足强对偶性的三个条件

2. 将原问题转化为拉格朗日函数

3. 求拉格朗日函数的下确界函数

4. 求这个下确界函数的极大值,即要对偶问题的最优解


对于线性可分 SVM 来说,根据上面的四个步骤进行求解:

1. 首先它是符合强对偶的三个条件的,

2. 然后求出它的拉格朗日函数

3. 再求下确界函数,方法是对W和b求偏导,令其等于零

4. 接着需要对下确界函数求极大值,需要将极大值问题转化为极小值问题,用 SMO算法求出参数向量 alpha


5. 又因为 alpha 对应的(x,y)必然是支持向量,所以得出 b 的表达式

6. 至此 w 和 b 表达式都得到了,进而得到了最大分割超平面的表达式

7. 接着也就构造出了决策函数


SMO算法:

上一篇 下一篇

猜你喜欢

热点阅读