XGBoost（一）：与同类算法的差异对比
微信公众号：机器学习养成记 搜索添加微信公众号：chenchenwings
XGBoost是一种非常高效、灵活、便携的机器学习算法，也是各类比赛中的明星算法。XGBoost由梯度提升方法改进得来，在学习该算法时，经常会产生同类方法间究竟有什么差异的困惑，因此本文重点想对这些差异点进行汇总整理，便于更好的理解算法间异同，至于XGBoost原理的详细介绍，个人认为官网中内容已经很全面，因此这里不再搬运，有需要可查阅 https://xgboost.readthedocs.io/en/latest/tutorials/model.html 。
Bagging与Boost
XGBoost全称为Extreme Gradient Boosting，从名字便可以看出XGBoost算法应用了Boost算法思想。我们在学习Boost时，通常会与Bagging放到一起，两者均是通过将基分类器（又叫弱分类器）组合到一起形成强分类器的方法。因此首先将Boost与Bagging两种方法的差异点进行列举。两者的差异主要体现在样本选择、计算流程和强分类器生成方法上：
在网上找到两张图，可以直观展示了两种方法的计算顺序及主要思想。Bagging可以并行训练 各子模型，Boost则需要依赖前一次的训练结果。更多Bagging算法介绍可参考之前的文章Bagging算法(R语言)。
（图片来源网址：http://www.seotest.cn/jishu/34057.html）
AdaBoost与Gradient Boost
上面讨论了Bagging和Boost两种集成算法思想，下面就对Boost相关算法进行进一步展开了解。AdaBoost和Gradient Boost是Boost中的两个经典算法，AdaBoost是第一个具有适应性的算法，具有里程碑似的意义（更多有关AdaBoost介绍可见AdaBoost算法(R语言)），Gradient Boost是对残差进行训练，多种损失函数的可选择性增加了模型鲁棒性。Boost方法中有两个关键点，一个是如何建立基分类器之间的关联？二是如何生成强分类器？AdaBoost和Gradient Boost的差异也主要体现在这两个方面：
GBDT与XGBoost
GBDT是Gradient Boost与树的结合，XGBoost的基本思想与GBDT类似，是GBDT的升级版，在模型泛化能力及运算速度上得到了进一步提高。
XGBoost除回归树外，还可使用线性分类器，并且在目标函数方面，XGBoost的目标函数加入了正则项，正则项中包含了叶子节点数和叶子评分的L2范数，通过对树模型复杂度的控制避免过拟合，提升模型的泛化能力。
在模型优化过程中，XGBoost通过二阶泰勒展开得到目标函数的近似，相比于GBDT优化只涉及一阶导，XGBoost的优化速度更快。
除此之外XGBoost在样本选择、并行计算、缺失值处理等方面，也有一定的改进，这些改进共同使得XGBoost在计算效率及预测结果上表现出明显优势，成为当下热门的算法之一。本次内容通过几种方法的差异性对比，了解了XGBoost的算法特点及相应优势，下一篇我们将介绍XGBoost的代码实现。
微信公众号：机器学习养成记 搜索添加微信公众号：chenchenwings
