从结构化风险最小化角度理解SVM

支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上

经验风险 = 分类器在给定样本上的误差
置信风险 = 分类器在未知文本上分类的结果的误差
结构化风险 = 经验风险 + 置信风险

样本数量，给定的样本数量越大，学习结果越有可能正确，此时置信风险越小；
分类函数的VC维，显然VC维越大，推广能力越差，置信风险会变大。
提高样本数量，降低VC维，降低置信风险。

VC维是什么？
VC维是描述函数复杂度的指标

对一个指标函数集，如果存在H个样本能够被函数集中的函数按所有可能的2的H次方种形式分开，则称函数集能够把H个样本打散；函数集的VC维就是它能打散的最大样本数目H

例如有h个样本，一个函数能够将这h个样本打散，打散指的是样本最后被分类的情况有2^h种可能，则这个函数能够打散的最大样本数就是VC维

为了使结构化风险最小化
需要保证分类精度（经验风险最小化）的同时，降低学习机器的 VC 维

对于SVM
当训练样本给定时，分类间隔越大，则对应的分类超平面集合的 VC 维就越小。（分类间隔的要求，对VC维的影响）

训练样本在线性可分的情况下，全部样本能被正确地分类（yi(wxi+b)）>=1的约束条件），即经验风险R(emp) 为 0 的前提下，通过对分类间隔最大化（Φ(w)＝(1/2)ww嘛），使分类器获得最好的推广性能。