八.支持向量机（SVM）

支持向量机（SVM）是非常强大，灵活的有监督学习算法，既可以用于分类，也可以用于回归。

支持向量机其实就是一个边界最大化评估器。支持模型拟合的关键点被称为支持向量，该算法也因此得名。

此处对于线性可分SVM不再讲解，有需要了解的可以参考以下文章：

支持向量机（SVM）入门理解与推导

https://blog.csdn.net/sinat_20177327/article/details/79729551

非线性：核函数SVM模型

将SVM和核函数组合使用，功能会非常强大。在前几节基函数回归时已经用到了一些核函数，我们将数据投影到多项式和高斯核=基函数定义的高维空间中，从而实现了用线性分类器拟合非线性关系。

那么，如何将非线性数据投影到高维空间，从而使得线性分类派上用场呢。其中一种简单方法就是计算一个以数据圆圈为中心的径向基函数。

SVM实现了一些修正因子来“软化”边界。为了取得更好的效果，它允许一些点位于边界线之内。

其中的参数C，它来控制边界线的硬度，也就是说，如果C很大，边界就会很硬，数据点便不能在边界上出现；如果C比较小，边界线比较软，有些数据就可以穿越边界线（在边界线上）。

通过使用这个核函数化的支持向量机，我们找到了一条合适的非线性决策边界。

除此之外，一些核函数技巧也经常可以用到将线性方法快速变成非线性方法。