数据挖掘3

建模调参

内容介绍

1. 线性回归模型：
   线性回归对于特征的要求；
   处理长尾分布；
   理解线性回归模型；
2. 模型性能验证：
   评价函数与目标函数；
   交叉验证方法；
   留一验证方法；
   针对时间序列问题的验证；
   绘制学习率曲线；
   绘制验证曲线；
3. 嵌入式特征选择：
   Lasso回归；
   Ridge回归；
   决策树；
4. 模型对比：
   常用线性模型；
   常用非线性模型；
   5.模型调参：
   贪心调参方法；
   网格调参方法；
   贝叶斯调参方法

算法原理

线性回归模型

线性回归模型

决策树模型

决策树模型

GBDT模型

GBDT模型

XGBoost 模型

线性回归&五折交叉验证&模拟真实业务情况

五折交叉验证

把数据集中一部分对训练集生成的参数进行测试，相对客观的判断这些参数对训练集之外的数据的符合程度。

正则化模型

L2正则化在拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是『抗扰动能力强』
L1正则化有助于生成一个稀疏权值矩阵，进而可以用于特征选择。

模型调参

• 贪心算法：在对问题求解时，总是做出在当前看来是最好的选择。也就是说，不从整体最优上加以考虑，他所做出的仅是在某种意义上的局部最优解。
  贪心算法没有固定的算法框架，算法设计的关键是贪心策略的选择。必须注意的是，贪心算法不是对所有问题都能得到整体最优解，选择的贪心策略必须具备无后效性，即某个状态以后的过程不会影响以前的状态，只与当前状态有关。
  所以对所采用的贪心策略一定要仔细分析其是否满足无后效性。
• 网格调参：通过循环遍历参数的设置，尝试每一种参数的组合，返回最好的得分值的参数分支。
• 贝叶斯调参：贝叶斯优化通过基于目标函数的过去评估结果建立替代函数（概率模型），来找到最小化目标函数的值。贝叶斯方法与随机或网格搜索的不同之处在于，它在尝试下一组超参数时，会参考之前的评估结果，因此可以省去很多无用功。