支持向量机算法（SVM）介绍

2020-01-31 本文已影响0人爱吃鱼的夏侯莲子

在解决复杂的非线性分类问题时，除了逻辑回归和神经网络，还有一种更为强大的算法：叫做支持向量机（Support Vector Machines），简称SVM。

代价函数

在分类问题上，常用的激励函数为：
$h_\theta(x) = \frac {1}{1+e^{-\theta^Tx}}$

逻辑回归的cost函数：
$Cost(h_\theta(x), y) = -y \log(h_\theta(x)) - (1-y) \log(1-h_\theta(x))$

代入激励函数，得到：
$Cost(h_\theta(x), y) = -y \log(\frac{1}{1+e^{-\theta^Tx}}) - (1-y) \log(1-\frac{1}{1+e^{-\theta^Tx}})$

上述式子中：
当样本的输出 $y$ 为1时： $Cost(h_\theta(x), y) = -\log(\frac{1}{1+e^{-z}}), z=\theta^Tx$

当样本的输出 $y$ 为0时： $Cost(h_\theta(x), y) = -\log(1-\frac{1}{1+e^{-z}}), z=\theta^Tx$

该式子的值随着z的变化曲线：

可以看到当 $y=1$ 时，该式子的值随着z值的增大而减小；当 $y=0$ 时，该式子的值随着z值的增大而增大。

下面开始构建向量机
将上面的变化曲线做一下简化：

当 $y=1$ 时，以 $z=1$ 为分界点，当 $z\geq 1$ ，式子的值为0，当小于1时，是一条线性变化的直线；
用 $cost_1(z)$ 来表示该曲线。
当 $y=0$ 时，以 $z=-1$ 为分界点，当 $z\leq -1$ ，式子的值为0，当大于-1时，是一条线性变化的直线；
用 $cost_0(z)$ 来表示该曲线。

逻辑回归的代价函数为：
$J(\theta)=-\frac{1}{m} \sum_{i=1}^m [y^{(i)} \log(h_\theta(x^{(i)})) + (1-y^{(i)}) \log(1-h_\theta(x^{(i)}))] + \frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2$