机器学习 验证方法

需要补习高数的内容。 还有统计学的内容。

本文讨论了三种机器学习模型评估方法；留出法、交叉验证法和自助法。留出法和交叉验证法虽然通过分层抽样的方法没有改变初始数据集正负类比的比例，但是训练数据集的样本数少于原始数据集，训练数据集的概率分布与原始数据集的概率分布不一样，因此留出法和交叉验证法在构建模型时存在估计偏差；自助法虽然样本容量和初始数据集一样，但是改变了初始数据集的分布和正负类别比例，用自助法抽样的数据集分布来代替初始数据集的分布，同样存在估计偏差。

因此，若对于小样本的数据集，个人建议采用自助法抽样的方法，然后用强训练分类器构建模型；若对于大一点的样本数据集则建议采用十折交叉验证法，超大样本数据及则建议采用留出法构建模型。