第四章：Overfitting and Model tunnin

对于不同的算法，会有一些独有的参数需要调优，例如k-nearest neighbor中k值的选择就需要进行一定的考量。由于有时候这些参数会决定计算的复杂性，所以选择这些参数就变的尤为重要。

选择参数的方式有很多，其中的百试不爽的一种是，建立一组候选值，基于这些值进行预测，然后比较结果，选择最优结果的那个参数。

Data splitting 数据分组

模型建立的步骤主要有

1.预处理自变量 2.评估模型参数 3.选择自变量4.评估模型效果 5.微调预测规则

数据分组的方法有随机抽样，差异性抽样等

Resampling techniques

通常重新采样评估模型效果的方式很类似，选择样本的一个子集来拟合模型，然后用剩余的数据来验证模型的效果。

k-Fold Cross-Validation

样本随机被分为k个大小相等的子集。第一步,将第一个子集作为测试集，其他数据作为训练集，计算模型的性能。第二步，用第二子集作为测试机，用剩余数据作为训练集得到模型，依次执行k次直到每个子集做过测试集，将测试性能的结果进行平均。随着k值的增加其预测错误会降低。缺点是计算的次数较多。通常会选择5或者10。

k=3 k-fold cv例子

Leave-one-out cross-validation（LOOCV）

将n个数据中n-1数据作为训练集，剩余1个数据作为测试集，循环n次

Repeated Training/Test Splits （Monte Carlo cv）

将数据随机分为训练集和测试集，重复多次，重复的次数通常在25次左右，如果想得到更好的结果，需要重复（50-200）次

The BootStrap

有放回的从原有数据集中选取训练集，训练集和原数据大小一样，没被选到的数据集作为测试集。平均来看63.2%的被选中至少一次，类似于当k约等于2时的k-fold cross-validation，bias情况随着训练集扩大而降低。

bootstrap图例 数据量n=12

数据量较小，推荐repeated 10-fold cross-validation

----------------------------------------------------------

在R的使用中sample可以用来对数据进行简单地随机分组，caret包中的createDataPartition可以对数据进行分层随机分组。例子

>trainingRows<-createDataPartition(classes,p=.80,list=FALSE)

Resampling中可以继续使用createDataPartition，增加times参数创建多重分组

>set.seed(1)

>repeatedSplits<-createDataPartition(trainClasses,p=.80,times=3)

同时，caret包中的createResamples（for bootstrapping），createFolds(for k-fold cross-validation)和createMultiFolds(for repeated CV)，举例创建10-fold cross-validation

>set.seed(1)

>cvSplits<- creatFolds(trainClasses,k=10,returnTrain=TRUE)

caret包中的train能够构建不同的重采样方法，性能评测和算法评估等，也可以用于并行计算。举例，优化SVM模型

>set.seed(1056)

>svmFit<-train(Class~., data=GermanCreditTrain, method="svmRadial",

                                  preProc=c("center","scale"),

                                   tuneLength=10

                                    trControl=trainControl(method="repeatedcv",repeats=5)  )