概念

1.线性可分支持向量机：可以用一条线分割，hard margin maximization
2.线性支持向量机：允许容差的情况下可以用一条线分割，soft margin maximization
3.非线性支持向量机：在线性支持向量机的基础上加一个核函数 kernel function

其中，门槛在于1线性可分支持向量机，入门之后，2和3都好说

分割超平面

分割超平面可表示为

分割超平面

来源：

直线 y = kx + b
可以写成 kx - y + b = 0，完全等价
进而可以写成

图片
也就是
图片
将(a1, a2)写成列向量* W的转置，将列向量（x1，x2）^T 写成x，就可以得到
分割超平面
当W和x*都是2维的时候，该式子表示一条直线
当都是三维的时候，表示一个平面，当是多维的时候，就表示一个超平面了

再令

图片.png

当 y=0 的时候，就表示这个平面
当 y>0 的时候，表示平面以上的部分
当 y<0 的时候，表示平面以下的部分
注：有的地方是不写转置的

线性分类模型

Model：

图片.png

φ(x) 表示x向量的一个映射，事先确定好了，已知
未知的参数是 W 和 b
因此，分类决策函数就是：

图片.png

其中，sign是符号函数