2018-12-25模型选择和训练/验证/测试集

模型选择和训练/验证/测试集

仅仅因为学习算法很好地适合训练集，这并不意味着它是一个很好的假设。 它可能过度适应，因此您对测试集的预测会很差。 在您训练参数的数据集上测量的假设误差将低于任何其他数据集的误差。

鉴于许多具有不同多项式度的模型，我们可以使用系统方法来识别“最佳”函数。 为了选择假设的模型，您可以测试每个多项式的次数并查看错误结果。

将数据集分解为三组的一种方法是：

训练集：60％    交叉验证集：20％     测试集：20％

我们现在可以使用以下方法为三个不同的集合计算三个单独的错误值：

1.使用每个多项式度数的训练集优化Θ中的参数。

2.使用交叉验证集找到具有最小误差的多项式度数d。

3.使用带有的测试集估计泛化错误（d =具有较低误差的多项式的theta）;