集成学习

参考：
一文搞定GBDT、Xgboost和LightGBM的面试
机器学习算法之LightGBM
LightGBM两种使用方式
lightgbm做二分类，多分类以及回归任务（含python源码）
Adaboost、GBDT与XGBoost的区别
Adaboost、GBDT、XGBoost的对比理解

集成学习的方法包括：Bagging（无依赖）、boosting（有依赖）、stack。

• Adaboost（Adaptive Boosting，自适应增强）是boosting流派中最具代表性的一种方法。
• GBDT是另一种boosting方法：GBDT每一次的计算是都为了减少上一次的残差，进而在残差减少（负梯度）的方向上建立一个新的模型。
  XGboost是GBDT的一种实现。
GBDT进阶版：LightGBM.

梯度上升用于求局部最大值，梯度下降用于求局部最小值。