SVM回归问题
2018-10-12 本文已影响0人
0过把火0
序
SVM常用在分类问题中，其实SVM也可以用在回归问题中，其实现思路基本与分类场景类似。
关注的重点在于如何定义损失函数和目标函数
损失函数
SVM中的损失函数定义为是训练样本误分类点到超平面的距离之和，其目标函数为：
约束为：
但是现在是回归问题，我们面对的不是0 1问题，而是连续值的问题，我们的目标是让训练集中的每一个点尽量拟合到一个线性模型 y=wx+b 上去，对于一般的回归模型，我们用均方差作为损失函数，但是SVM里处理回归问题时不是这样定义的！
即，SVM中的损失度量方法如下：
目标函数的定义
定义好了损失函数，那么可以定义目标函数如下：
当然我们也可以引入松弛变量，并且对于回归问题来讲，左右各有一个松弛，因此这里要引入两个松弛变量：
接下来就是利用拉格朗日函数将目标优化函数变成无约束形式，也就是拉格朗日函数的原始形式如下：
