过度拟合和规范化

过度拟合（overfitting）、过度训练(overtraining）

• 拥有大量自由参数的模型能很好地拟合已有的数据，但是对新的数据很难泛化。
• 解决方法：Hold-Out ⽅法
• 增加训练样本的数量是⼀种减轻过度拟合的⽅法,但很难应用于实际中。

规范化

• L2 规范化是增加⼀个额外的规范化项到代价函数上
• 规范化可以当做⼀种寻找⼩的权重和最⼩化原始的代价函数之间的折中

规范化技术

• L2 规范化
• L1 规范化
• 弃权
• ⼈为增加训练样本