机器学习基石笔记：16 Three Learning Princ

三个理论上界：

图1 三个理论上界

三个线性模型：

图2 三个线性模型

三个关键工具：

图3 三个关键工具

三条学习规则：

图4 三条学习规则

• 奥卡姆剃刀定律
  先从简单模型开始，训练后出现欠拟合，再尝试复杂点模型。

图5 奥卡姆剃刀定律1
图6 奥卡姆剃刀定律2

• 采样误差
  训练、验证、测试数据尽量同分布。

图7 采样误差1
图8 采样误差2

• 数据偷看
  找到折中方法。

图9 数据偷看1
图10 数据偷看2
图11 数据偷看3
图12 数据偷看4