这部分内容工作中用到的比较少，比赛中常常用到，是提升模型效果的终极手段。而且融合模型越多，往往效果也是最好的。简单记录一下自己的学习过程。

基模型分别采用lgb和xgb，从80Wtrain样本中拿出12W作为线下测试，来评估模型融合的效果

• lgb单模型效果
  使用上一次得到的参数，在测试集上的auc：0.732005

  
  image.png

• xgb单 模型效果
  简单试了几组参数，在测试集上的auc：0.731635

  
  image.png

加和

加权平均有一定效果，但是结果比较随机，相比单lgb在万分位有提升。

• 0.5*lgb+0.5xgb：0.732238

  
  image.png

• 0.7*lgb+0.3xgb ：0.732246

  
  image.png

stacking

image.png

按照这个图来，需要训练5个基模型和1个新模型（第二层），跑参数有点难。准备就用lgb和xgb分别简单跑一下。