一、二次假设

实际上线性假设的模型复杂度是受到限制的，需要高次假设打破这个限制。

图1.1 线性假设

假设数据不是线性可分的，但是可以被一个圆心在原点的圆分开，需要我们重新设计基于该圆的PLA等算法吗？

图1.2 圆形可分

不用，只需要通过非线性转换将域圆形可分变为域线性可分！

图1.3 圆形可分与线性可分
图1.4 变换后的线性可分
图1.5 通用的二次假设集

二、非线性转换

图2.1 好的二次假设集
图2.2 非线性转换的步骤
图2.3 特征变换和线性模型的结合使用

三、非线性转换的代价

计算/存储代价：次数越高，代价越大。

图3.1 计算/存储代价

模型复杂度代价：次数越高，代价越大。

图3.2 模型复杂度代价

高次假设能使样本内代价更小；低次假设能保证泛化误差更小。

图3.3 泛化问题

可视化数据后再选择：
一是数据维度高时难以可视化；
二是可视化后再选择实际上人脑里产生的模型复杂度代价并没有算进去，加上后实际代价不一定很低。

图3.4 可视化后选择的隐患

四、结构化假设集

低次假设集合是包含在高次假设集合中的。

图4.1 多项式变换
图4.2 结构化的假设集合

先线性模型，效果不好的话，再使用更高次的模型。

图4.3 线性模型优先