cross validation - 机器学习中的交叉验证法探究
交叉验证是什么？
Cross Validation是一种评估模型性能的重要方法，主要用于在多个模型中（不同种类模型或同一种类不同超参数组合）挑选出在当前问题场景下表现最优的模型（model selection）。cv主要分为以下两类：
-
k折，K-fold
k折交叉验证是最基本的cv方法，具体方法为，将训练集随机等分为k份，取其中一份为验证集评估模型，其余k-1份为训练集训练模型，重复该步骤k次，每次都取一份不同的子集为验证集，最终得到k个不同的模型（不是对一个模型迭代k次）和k个评分，综合这k个模型的表现（平均得分或其他）评估模型在当前问题中的优劣。
cv.png
k值的选取很有讲究，k越大，在训练集上的Bias就会越小，但训练集越大会导致Variance越大，同时花费的时间越长，所以选取适当大小的k很重要，经验值（empirical value）是k=10。 -
留一法，Leave one out（LOO）
留一法每次在训练集的N个样本中选一个不同的样本作为验证集，其余样本为训练集，训练得到N-1个不同的模型。LOOCV是特殊的K-fold，当K=N时，二者相同。
-
还有一种叫holdout，其实算不上真正的cv，流程图如下
holdout.png
这种方法受数据集分割方式的影响较大，不能较为客观的反映出模型的优劣。
为什么需要cv？
在训练集（train set）上训练得到的模型表现良好，但在测试集（test set）的预测结果不尽如人意，这就说明模型可能出现了过拟合（overfitting），bias低而variance高，在未知数据上的泛化能力差。
一个改进方案是，在训练集的基础上进一步划分出新的训练集和验证集（validate set），在新训练集训练模型，在验证集测试模型，不断调整初始模型（超参数等），使得训练得到的模型在验证集上的表现最好，最后放到测试集上得到这个最优模型的评估结果。
这个方案的问题在于模型的表现依赖于验证集的划分，可能使某些特殊样本被划入验证集，导致模型的表现出现异常（偏好或偏差）。而且训练集划了一部分给验证集后，训练模型能得到的数据就变少了，也会影响训练效果。因为通常来说，训练数据越多，越能反映出数据的真实分布，模型训练的效果就越好，越可能得到无偏估计。
交叉验证思想应运而生，交叉验证可以充分使用所有的训练数据用于评估模型。
嵌套交叉验证？
嵌套交叉验证（Nested Cross Validation）第一次看到是在"Python Machine Learning 2nd Edition"（Sebastian Raschka）这本书中，说要将调参和模型选择结合起来比较好的方式是嵌套交叉验证，其挑选的模型在训练集和测试集上的误差估计几乎没有出入。（原文：the true error of the estimate is almost unbiased relative to the test set when nested cross-validation is used）
嵌套交叉验证流程图如下（也被称作5*2 cross-validation）：
nested_cv.png
-
内层交叉验证（innner loop）：用于模型选择，可以进行特征工程处理数据。
-
外层交叉验证（outer loop）：用于模型评估，使用所有数据集进行分割，而不仅是训练集，且用Stratified K-Fold保证类别比例不变。外层每一折都使用内层得到的最优参数组合进行训练。
-
演示代码：
gs = GridSearchCV(estimator=pipe_svc, ... param_grid=param_grid, ... scoring='accuracy', ... cv=2)
scores = cross_val_score(gs, X_train, y_train, ... scoring='accuracy', cv=5)
嵌套交叉验证可以看做是GridSearchCV的升级版，普通GridSearchCV训练的模型只在一部分数据上进行测试，而嵌套交叉验证可以使模型在全部数据上进行测试，能更好的说明模型的泛化能力。
nested_vs_non.png
常见问题
CV的模型是否要先经过训练？
之前在"Hands-On Machine Learning with Scikit-Learn and TensorFlow" - Chapter3. Classification - Measuring Accuracy Using Cross-Validation中（Page83）看到，笔者在cv的时候使用了之前在全量训练集上训练过的模型作为了cv的初始模型clone_clf = clone(sgd_clf)，个人觉得这里有点问题，从多方查到的资料来看，初始模型是不能预先训练的，至多传入超参数组合。
CV是否输出模型？
交叉验证并非用于建立具体模型，而是用于模型选择（model selection），cv中间过程产生的误差最小的模型并不一定是最优的，可能只是表面现象，因为只使用了一部分数据进行训练模型，且验证集的划分也不一定客观。。当选定模型后，需要在全部训练集上重新训练模型；为什么不使用cv过程中产生的最优模型？
CV和网格搜索？
scikit learn库中的GridSearchCV可以方便地尝试不同的超参数（hyper parameter），得到最优组合。GridSearchCV中的cv参数（默认为3-fold）利用交叉验证为某一超参数组合打出合理的评分。GridSearchCV可以得到最优模型，通过best_estimator_查看，best_params_可以查看最优超参数组合。
