SVM概念

SVM，基于VC维理论和结构化风险最小化原理。

何为VC维，何为结构化风险？

首先，应该知道任何机器学习模型是对真实世界模型的一种近似。评价模型的好坏则需要给出这种近似所带来的误差。但是，没有人能够给出真实模型，或者说，用数学、计算机去描述真实世界本身就已经是一种近似，存在误差。于是，人们引入训练集的概念，并将模型在训练集上的表现作为对模型的评价。这种依据模型在训练集上的性能来设计模型的思路称为经验风险最小化方法。

经验风险最小化方法存在一定的问题，人们发现，通过增加模型的复杂度（特征维度）在训练集上往往可以获得100%的精度。但是，这种模型在实际工作中，效果很差，这就是模型的泛化问题。为此，人们提出结构风险的概念。其基本思路在于，我们在训练集上分析一个模型的性能时，不能单纯关注分类精度，还要将模型本身的特性考虑在内（复杂度，样本数量）。结构风险定义如下：

结构风险包括经验风险和泛化误差界两部分

泛化误差界包括：样本数量的描述和模型的VC维度。通常，样本数量越大，即训练集越接近于实际工况，则模型越可靠。模型VC维越大，说明模型越加复杂，则其泛化能力越差，实际工况下状态越差。