Bias 和 Variance 理解

一篇很不错的讲解Bias和Variance的文章：http://scott.fortmann-roe.com/docs/BiasVariance.html

从三个角度去定义Bias和Variance

概念上

• Error due to Bias：表示我们的模型预测的期望值（或者叫平均值）与模型想要努力接近真实值的difference。注意一点，这里的期望值是指，你可以通过多个数据集（随机性）来训练多个模型（参数会不同），这些模型的预测值与真实值的偏差叫Bias。这一过程不可以简单认为一个模型的多个测量算得的。
• Error due to Variance：表示模型对于给定数据点预测的可变性。当然可变性的统计也是基于一系列模型产生的。Variance是对于给定点的预测在模型的不同实现之间的变化性。

图形上

Bias-Variance.png

想象一下，我们可以重复我们的整个模型构建过程，以获得目标上的多个单独点击。 考虑到我们收集的训练数据的随机性，每次命中都代表我们模型的个体实现。 有时候我们会得到一个很好的训练数据分布，所以我们预测得很好，而且我们接近靶心，但有时我们的训练数据可能会充满异常值或非标准值，导致较差的预测。 这些不同的实现导致目标上的命中分散。

数学上

妈蛋，不能写公式。

Mathmatic.png

理解过拟合和欠拟合

Bias and variance contributing to total error.

上图与训练集误差，测试集误差的图形走势是一样的。随着模型变复杂，不断去逼近真实的分布，同时也引入了大量的噪声。尽管数学期望上，Bias是减少了，但实际的预测方差大的没边，不足以使用。所以需要这两者的trade-off。