boost家族

boost家族

常见算法：

• Adaboost
• GBDT
• XGboost

Adaboost每一轮的基分类器都可以独挡一面，但是基于梯度的方法不行，因为每一轮的基础分类器学习的目标都是拟合残差，所以有 就是每一轮的结果都需要加上上一轮的结果，adaboost并非如此

总结：

• GBDT每一轮学习的目标不是原始数据的label，是残差（负梯度），学到的只是残差函数，之后都要更新成强学习器
• Aaboost每一轮学习的目标是原始数据的label，学到的是一个弱分类器

GBDT 最佳讲解 https://blog.csdn.net/zpalyq110/article/details/79527653

对于回归问题，梯度就是

cart树的生成算法

image

总结：

• 选择最佳的切分特征和特征切分点
• 为二叉树的两个节点给出label
• 递归建树

GBDT回归算法

https://www.cnblogs.com/pinard/p/6140514.html

image

分类算法跟回归的不同之处

• 负梯度计算不同（loss不同）
• 最佳负梯度（残差）的拟合不同

整体框架都是相同的