方差与偏差【转】
【文章转载自CSDN】
作者：Agent002
来源：CSDN
原文：https://blog.csdn.net/hertzcat/article/details/80035330
模型改进策略
对于 预测函数，我们通常会使用以下几种手段来改进：
- 采集更多的样本数据【高偏差】
- 减少特征数量，去除非主要的特征【高方差】
- 引入更多的相关特征【高偏差】
- 采用多项式特征【高偏差】
- 减小正则化参数 λ【高偏差】
- 增加正则化参数 λ【高方差】
Andrew Ng 告诉大家，他见过很多开发者盲目地使用改进策略，为此耗费了大量的时间和精力，却没什么效果。所以我们需要一些依据来帮助我们选择合适的策略。
数据集划分
为了评价模型，我们通常将数据集分为三个部分，
- 60%的 训练集
- 20% 的 交叉验证集
- 20%的 测试集
并使用 误差 作为模型使用在这些集合上的评价，误差 的形式与 代价函数 相同。
在被划分的集合中，我们:
- 使用 训练集 来训练参数 θ
- 使用 交叉验证集 来选择模型（ 比如该使用多少次的多项式特征 ）
- 使用 测试集 来评估模型的预测能力。
方差与偏差
当我们的模型表现不佳时，通常是出现两种问题，一种是 高偏差 问题，另一种是 高方差 问题。
- 偏差: 描述模型输出结果的期望与样本真实结果的差距。
- 方差: 描述模型对于给定值的输出稳定性。
偏差与方差
就像打靶一样，
偏差描述了我们的射击总体是否偏离了我们的目标，
方差描述了射击准不准（多次射击的稳定性）。
-
对于多项式回归:
多项式回归
当次数选取较低时，我们的 训练集误差 和 交叉验证集误差 都会很大；
当次数选择刚好时，训练集误差 和 交叉验证集误差 都很小；
当次数过大时会产生过拟合，虽然 训练集误差 很小，但 交叉验证集误差 会很大。
计算 Jtrain(θ)和 Jcv(θ)，
如果他们同时很大的话，就是遇到了高偏差问题，
而 Jcv(θ)比 Jtrain(θ)大很多的话，则是遇到了高方差问题。
-
对于 正则化 参数:
正则化参数
当参数比较小时容易产生过拟合现象，也就是高方差问题。
当参数比较大时容易产生欠拟合现象，也就是高偏差问题。
学习曲线
无论你是要检查你的学习算法是否正常工作或是要改进算法的表现，学习曲线 都是一个十分直观有效的工具。
- 横轴是 样本数
- 纵轴为 训练集 和 交叉验证集 的 误差。
在一开始，由于样本数很少，Jtrain(θ)几乎没有，而Jcv(θ) 则非常大。
随着样本数的增加，Jtrain(θ)不断增大，而 Jcv(θ)因为训练数据增加而拟合得更好因此下降。
学习曲线-高偏差
- 在高偏差的情形下，Jtrain(θ) 与Jcv(θ) 已经十分接近，但是 误差 很大。这时候一味地增加样本数并不能给算法的性能带来提升。
学习曲线-高方差
- 在高方差的情形下，Jtrain(θ)的 误差 较小，Jcv(θ)比较大，这时搜集更多的样本很可能带来帮助。
总结
有了以上的分析手段，就能够得出在何种场景下使用我们的改进策略：
[高方差] 采集更多的样本数据
[高方差] 减少特征数量，去除非主要的特征
[高偏差] 引入更多的相关特征
[高偏差] 采用多项式特征
[高偏差] 减小正则化参数 λλ
[高方差] 增加正则化参数 λ
