超参数值的搜索
2020-02-03 本文已影响0人
清梦载星河
超参数的搜索：提前设置好参数可以选择的候选值，然后根据不同参数组合对于模型泛化能力的贡献，选取最佳的超参数组合。
方法一：GridSearchCV
GridSearchCV，基于交叉验证的网格搜索法：将要搜索的参数候选值输入搜索器内，搜索器遍历每一种参数值的组合，使用交叉验证对比每种参数组合下模型的表现，返回表现最好模型的参数值。
- 优点：自动调参，参数准确性高；
- 缺点：需要耗费巨大的算力和计算时间。
sklearn api：
from sklearn.model_selection import GridSearchCV
方法二：RandomizedSearchCV
RandomizedSearchCV，基于交叉验证的随机搜索法：基本原理与GridSearchCV一致，但为了提高搜索效率，搜索器会从参数组合内随即搜索一些参数进行训练和验证，返回最好的参数值组合。
- 优点：运行效率高，适合大数据样本；
- 缺点：准确度有所牺牲。
sklearn api：
from sklearn.model_selection import RandomizedSearchCV
