SVM支持向量机（二）

支持向量

在线性不可分的情况下，对偶问题的解

中对应于alphai>0的样本点（xi,yi）的实例xi称为支持向量（软间隔支持向量）

软间隔支持向量xi或者在间隔边界上，或者在间隔边界和分离超平面之间，或者在误分类一侧。当eta=1时恰好落在分离超平面上

合页损失函数

对于线性支持向量机学习来说，其模型为分离超平面wx+b=0以及决策函数f(x

)=sign(wx+b)，其学习策略为软间隔最大化，学习算法为凸二次规划：

线性支持向量机学习还有另外一种解释，就是最小化以下目标函数：

目标函数的第一项为经验损失函数

这就是说，当样本被正确分类且函数间隔（确信度）y(wx+b)大于1时，损失是0，否则损失是1-y(wx+b)。特别注意间隔边界到分离平面之间的点损失不是0。第二项是系数为lambda的w的L2范数是正则化项

合页函数是0-1损失函数推导而来（也是二分类问题真正的损失函数，但不是连续可导的）