方差偏差

image.png image.png

[高方差] 采集更多的样本数据
[高方差] 减少特征数量，去除非主要的特征
[高偏差] 引入更多的相关特征
[高偏差] 采用多项式特征
[高偏差] 减小正则化参数 λ
[高方差] 增加正则化参数 λ

训练集 和 交叉验证集 的 误差 曲线来直观地理解 高偏差 与 高方差 的意义

多项式回归，当次数选取较低时，我们的 训练集误差 和 交叉验证集误差 都会很大；当次数选择刚好时，训练集误差 和 交叉验证集误差 都很小；当次数过大时会产生过拟合，虽然 训练集误差 很小，但 交叉验证集误差 会很大

image.png

所以我们可以计算 Jtrain(θ)Jtrain(θ) 和 Jcv(θ)Jcv(θ)，如果他们同时很大的话，就是遇到了高偏差问题，而 Jcv(θ)Jcv(θ) 比 Jtrain(θ)Jtrain(θ) 大很多的话，则是遇到了高方差问题。

对于 正则化 参数，使用同样的分析方法，当参数比较小时容易产生过拟合现象，也就是高方差问题。而参数比较大时容易产生欠拟合现象，也就是高偏差问题。

image.png image.png

所以我们可以计算 Jtrain(θ)Jtrain(θ) 和 Jcv(θ)Jcv(θ)，如果他们同时很大的话，就是遇到了高偏差问题，而 Jcv(θ)Jcv(θ) 比 Jtrain(θ)Jtrain(θ) 大很多的话，则是遇到了高方差问题。

对于 正则化 参数，使用同样的分析方法，当参数比较小时容易产生过拟合现象，也就是高方差问题。而参数比较大时容易产生欠拟合现象，也就是高偏差问题。

image.png

学习曲线 都是一个十分直观有效的工具。学习曲线 的横轴是样本数，纵轴为 训练集 和 交叉验证集 的 误差。所以在一开始，由于样本数很少，Jtrain(θ)Jtrain(θ) 几乎没有，而 Jcv(θ)Jcv(θ) 则非常大。随着样本数的增加，Jtrain(θ)Jtrain(θ) 不断增大，而 Jcv(θ)Jcv(θ) 因为训练数据增加而拟合得更好因此下降。所以 学习曲线 看上去如下图：

image.png

高偏差：

image.png

高方差：

image.png image.png image.png