机器学习面试基础知识 & 扩展-01

2017-10-18 本文已影响283人曹真

视频教程的总结和一些自行补充的内容，旨在尽可能的理解其原理。

本文持续更新地址：http://hellogod.cn：个人博客机器学习面试基础知识 & 扩展-01

训练/开发/测试集

Tips

训练/开发/测试集经验比例 6：3：1
当数据量超过百万时，测试集只需约1w（也就是不需要严格按照比例增长）
严格保证分层取样

偏差（Bias）/ 方差（Variance）

在忽略噪声的情况下，泛化误差可分解为偏差、方差两部分。

偏差：度量学习算法的期望预测与真实结果的偏离程度，也叫拟合能力。
方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动造成的影响。

---摘自《机器学习》，周志华

</center>

参考：Understanding the Bias-Variance Tradeoff

分类器

Train set error	1%	15%	15%	0.5%
Dev set error	10%	16%	30%	1%
status	high variance	high bias	high bias & high variance	low bias & low variance

偏差：模型的预测误差率（训练集中的准确率越大，偏差越大）
方差：模型的泛化能力（开发集中的表现和训练集的差距大小，差距越大，代表方差越大）

high Bias 意味着模型的分类效果不好，high Variance 意味着模型往往过拟合，不能很好的泛化。

我们通常这样利用这两个参数调整我们的神经网络，其中部分内容会在本文的后面进一步探讨。

梯度消失与梯度爆炸

欠拟合和过拟合

<center>简单分类器示例</center>

上图从左到右分别是欠拟合、合适的拟合和过拟合三种情况。

过拟合

过拟合是如何产生的？

根本原因：参数太多，模型复杂度过高，同时数据相对较少，或噪声相对较多。

整个训练过程其实是模型复杂度和过拟合之间的一个权衡，如下图

留一交叉验证

又称（Leave-one-out Cross Validation），它是第二种情况的特例，此时S等于样本数N，这样对于N个样本，每次选择N-1个样本来训练数据，留一个样本来验证模型预测的好坏。此方法主要用于样本量非常少的情况。

早停法（Early Stopping）

为了获得性能良好的神经网络，网络定型过程中需要进行许多关于所用设置（超参数）的决策。超参数之一是定型周期（epoch）的数量：亦即应当完整遍历数据集多少次（一次为一个epoch）如果epoch数量太少，网络有可能发生欠拟合（即对于定型数据的学习不够充分）；如果epoch数量太多，则有可能发生过拟合（即网络对定型数据中的“噪声”而非信号拟合）。

早停法背后的原理其实不难理解：