SVM

• SVM有很多种实现，本文只关注其中最流行的一种实现，即序列最小优化（SMO）算法。
• 支持向量机是一种分类器，叫“机”是因为它会产生一个二值决策结果
• 当然，基于SVM构建多类别分类器也有很多研究和对比，这个可以网上查资料了解

支持向量

• 拿二维数据散点举例，如果很容易在坐标图画出一条直线将两组数据点分开，这组数据就被称为线性可分
• 上面说的直线称为分隔超平面(数据大多是多维的)
• 支持向量，就是离分隔超平面最近的那些点

寻找最大间隔

• 一旦找到具有最小间隔的数据点（支持向量），我们就需要对该间隔最大化
• 优化目标函数
• 支持向量的数目存在一个最优值，如果支持向量太少，就可能得到一个很差的决策边界；向量太多，就相当于利用了整个数据集来分类，这种分类就成为K近邻算法了

在复杂数据上应用核函数

• 利用核函数将数据映射到高维空间
• 通过转换，将低维空间的非线性问题转为高维空间的线性问题

• 径向基核函数，是SMV常用的一个核函数

  
  径向基核函数