7.线性SVM(Maximum margin )
2016-03-03 本文已影响255人
袁一帆
支持向量机算法support vector machine(SVM),被视为感知器perceptron的扩展。perceptron的目的是最小化代价函数计算出来的误差,而SVM的思想是最大化边界(Margin),边界是分类的超平面和对应类别最近的样本点之间的距离
![](https://img.haomeiwen.com/i1207849/282dba8f99f558ac.png)
大的边界意味着泛化能力很强
![](https://img.haomeiwen.com/i1207849/2571f42f981b9e4d.png)
处理非线性可分的情况
引进松弛变量(slack variables),这个变量来调节对于误差的容忍度
![](https://img.haomeiwen.com/i1207849/41e6f52cdc1fe264.png)
![](https://img.haomeiwen.com/i1207849/42ed2b79164d44d9.png)
对比线性SVM和Logistic回归
Logistic回归是最大化似然函数
SVM关注的是决定决策边界的支持向量