支持向量机（SVM）

给定一个特征空间上的训练数据集 ,其中，,。

• 若 ,则称为正例；
• 若 ,则称为负例。
  假设训练集数据集线性可分，希望在特征空间中找到一个分离超平面，它能将所有的正例划分到超平面的一侧、所有的负例划分到超平面的另一侧。由于超平面可以用方程表示，它由法向量和截距项来表示。

当训练集线性可分时，理论上存在无穷多个超平面可以将训练集划分开来。线性可分向量机提出了选择间隔最大化的约束，最终求得的超平面唯一。

假定学习到的超平面为：
定义分类决策函数为：
该分类决策函数被称为线性可分支持向量机。

通常可以将一个样本离超平面的距离来表示分类预测的可靠性：一个样本离超平面越远，则分类越靠谱。

给定超平面,样本到超平面的距离为：。的符号与的符号是否一致表示分类是否正确。

所以用来表示分类的正确性以及却星都（符号决定了正确性，范数决定了可信度）。

给定训练数据集,给定超平面,定义超平面关于样本点几何距离为：

定义超平面关于训练集T的几何距离为超平面关于T所有样本点的几何距离的最小值:。

支持向量机的目标是：求解能够正确划分训练数据集，且几何距离最大的分离超平面。
即：



等价于