Python数据分析与机器学习38-Xgboost算法
2022-07-31 本文已影响0人
只是甲
一. 集成算法简介
下图是一个集成算法的图解:
y = wx +b
第一个树用来求权重值w
第二个树用来求截距 b
多个树结合在一起，模型整体的实用性更佳。
image.png
二. Xgboost集成算法简介
下图是集成算法的公式:
image.png
目标函数：
image.png
如何最优函数解？
image.png
集成算法的表示：
image.png
image.png
现在还剩下一个问题，我们如何选择每一轮加入什么f呢？答案是非常直接的，选取一个f来使得我们的目标函数尽量最大地降低
image.png
image.png
image.png
image.png
通过公式，将样本上遍历转换为在叶子节点上遍历
image.png
image.png
image.png
三. 图解Xgboost算法
image.png
image.png
image.png
image.png
