第6节训练集和测试集 (Training and Test Se
文章转载自Google,最近更新：2018-07-26
Google上线了一个“机器学习速成课程”，英文简称MLCC。这个课程节奏紧凑、内容实用。课程基本可以全程中文（包括视频）,免费,并且有相关的练习.
如果可以翻墙的小伙伴,可以看看,链接如下:机器学习速成课程
具体内容如下:
1.拆分数据
上一单元介绍了将数据集分为两个子集的概念：
- 训练集 - 用于训练模型的子集。
- 测试集 - 用于测试训练后模型的子集。
您可以想象按如下方式拆分单个数据集：
图 1
图 1. 将单个数据集拆分为一个训练集和一个测试集。
确保您的测试集满足以下两个条件：
规模足够大，可产生具有统计意义的结果。能代表整个数据集。换言之，挑选的测试集的特征应该与训练集的特征相同。
假设您的测试集满足上述两个条件，您的目标是创建一个能够很好地泛化到新数据的模型。我们的测试集充当新数据的代理。以下图为例。请注意，从训练数据中学习的模型非常简单。该模型的表现并不完美，出现了一些错误的预测。不过，该模型在测试数据上的表现与在训练数据上的表现一致。也就是说，这个简单的模型没有过拟合训练数据。
图 2
图 2. 对照测试数据验证训练后的模型。
请勿对测试数据进行训练。 如果您的评估指标取得了意外的好结果，则可能表明您不小心对测试集进行了训练。例如，高准确率可能表明测试数据泄露到了训练集。
例如，假设一个模型要预测某封电子邮件是否是垃圾邮件，它使用主题行、邮件正文和发件人的电子邮件地址作为特征。我们按照 80-20 的拆分比例将数据拆分为训练集和测试集。在训练之后，该模型在训练集和测试集上均达到了 99% 的精确率。我们原本预计测试集上的精确率会低于此结果，因此再次查看数据后发现，测试集中的很多样本与训练集中的样本是重复的（由于疏忽，我们在拆分数据之前，没有将输入数据库中的相同垃圾邮件重复条目清理掉）。我们无意中对一些测试数据进行了训练，因此无法再准确衡量该模型泛化到新数据的效果。
关键字词
1)过拟合 (overfitting)
创建的模型与训练数据过于匹配，以致于模型无法根据新数据做出正确的预测。
2)测试集 (test set)
数据集的子集，用于在模型经由验证集的初步验证之后测试模型。
与训练集和验证集相对。
2.Playground 练习
训练集和测试集
让我们回到 Playground，以便使用训练集和测试集进行实验。
关于橙点和蓝点含义的说明,在直观图示中：
- 每个蓝点表示一类数据的一个样本（例如，垃圾邮件）。
- 每个橙点表示另一类数据的一个样本（例如，非垃圾邮件）。
- 背景颜色表示该模型对于应该在何处找到相应颜色样本的预测。某个蓝点周围显示蓝色背景表示该模型正确地预测了该样本。相反，某个蓝点周围显示橙色背景则表示该模型错误地预测了该样本。
本练习提供了从同一数据集中抽取的测试集和训练集。默认情况下，直观图示只会显示训练集。如果您还想看到测试集，请点击直观图示正下方的**显示测试数据 **(Show test data) 复选框。在直观图示中，请注意以下区别：
- 训练样本具有白色轮廓。
- 测试样本具有黑色轮廓。
任务 1：
使用指定设置运行 Playground，具体操作如下：
- 点击“运行/暂停”(Run/Pause) 按钮：
- 观察测试损失值和训练损失值的变化。
- 当测试损失值和训练损失值停止变化或好一会儿才会变化一次时，请再次按“运行/暂停”(Run/Pause) 按钮，以暂停 Playground。
测试损失与训练损失之间存在显著差异吗？
方法1:设置训练数据与测试数据的比例：50%,学习速率为3,批量大小为1
测试结果如下:
- 测试损失0.331
-
训练损失0.280
答:当学习速率设为 3（初始设置）时，测试损失明显高于训练损失。
任务 2：
执行以下操作：
- 按“重置”(Reset) 按钮。
- 按“运行/暂停”(Run/Pause) 按钮：
- 让 Playground 运行至少 150 次迭代。
在这种新的学习速率下，测试损失与训练损失之间的差值是降低了还是升高了？如果同时修改了学习速率和批量大小，会出现什么情况？
方法1:设置训练数据与测试数据的比例：50%,学习速率为0.001,批量大小为1
测试结果如下:
- 测试损失0.211
- 训练损失0.197
方法2:设置训练数据与测试数据的比例：50%,学习速率为0.001,批量大小为4
测试结果如下:
- 测试损失0.211
-
训练损失0.197
方法3:设置训练数据与测试数据的比例：50%,学习速率为0.001,批量大小为14
测试结果如下:
- 测试损失0.210
-
训练损失0.197
方法4:设置训练数据与测试数据的比例：50%,学习速率为0.001,批量大小为20
测试结果如下:
- 测试损失0.210
-
训练损失0.197
方法5:设置训练数据与测试数据的比例：50%,学习速率为0.001,批量大小为25
测试结果如下:
- 测试损失0.211
-
训练损失0.197
答案:
- 通过降低学习速率（例如，降至 0.001），测试损失会下降到非常接近训练损失的值。
- 在大多数运行中，增加批量大小不会显著影响训练损失或测试损失。
- 然而，在一小部分运行中，将批量大小增加至 20 或更高会导致测试损失略低于训练损失。
(我测试的5组数据变化并不大)
Playground 的数据集是随机生成的。因此，每个人的答案与不一定完全一致。
（可选）任务 3：
您可以通过标签为训练数据与测试数据之比 (Ratio of training to test data) 的滑块来控制测试数据与训练数据之比。例如，当该滑块设为 90% 时，训练集包含的样本比测试集多很多。当该滑块设为 10% 时，训练集包含的样本比测试集少很多。
执行以下操作：
- 将“训练数据与测试数据之比”(Ratio of training data to test data) 从 50% 降至 10%。
- 尝试不同的学习速率和批量大小，记录您的发现。
改变训练数据与测试数据之比是否会更改您在任务 2 中找出的最佳学习设置？如果是，原因是什么？
方法1:训练数据与测试数据的比例：10%,批量大小为1,学习速率0.001
测试结果如下:
- 测试损失0.193
-
训练损失0.201
方法2:训练数据与测试数据的比例：10%,批量大小为10,学习速率0.001
测试结果如下:
- 测试损失0.192
-
训练损失0.202
方法3:训练数据与测试数据的比例：10%,批量大小为20,学习速率0.001
测试结果如下:
- 测试损失0.188
-
训练损失0.203
方法4:训练数据与测试数据的比例：10%,批量大小为20,学习速率3
测试结果如下:
- 测试损失和训练损失数据一直在跳动,不稳定
方法4:训练数据与测试数据的比例：10%,批量大小为10,学习速率3
测试结果如下:
- 测试损失0.262
- 训练损失0.201
答案:
将训练数据与测试数据之比从 50% 降至 10% 大幅降低了训练集中数据点的个数。由于数据太少，较高的批量大小和学习速率会导致训练模型沿着曲线无规律地跳动（在最低点上方反复跳跃）。
