数据分析

LightGBM学习

2017-11-14  本文已影响1286人  No_limit

视频连接:https://v.qq.com/x/page/k0362z6lqix.html

基本操作:http://blog.csdn.net/qq_22238533/article/details/72927755

调参:

分割数据集:http://blog.csdn.net/kancy110/article/details/74838102


优点:

直方图方法将连续的特征值离散化成一个个bin,提升了效率,节省了空间

带限制的leaf-wise的生长策略,相较于level-wise,leaf-wise在叶子数量一样时,能降低误差,得到更好地精度,加上限制防止生成深树而在小数据集上造成过拟合。

直接输入类别值,不用one-hot encoding

直方图  带限制的叶子生长策略 支持类别值输入

比较1决策树的学习方法:leaf-wise每次选择收益最大的分裂,快速有效地学习,但过程是顺序的,影响加速;evel-wise可并行,但是有不必要的分裂,造成浪费。

两种方法比较

比较2XGBoost方法:presort排序对每个特征值进行计算,可以找到精确分割点,但是消耗大可能过拟合。level-wise时间节省,并行,但会有浪费,没有必要的计算。

预排序和层生长策略

LightGBM的几个特点:

1.将XGB的最大深度调整为叶子数

对应关系

2.提高效率的几个方式:

主要特性

3.如何使用LGB?

可用的方式 如何处理过拟合
上一篇 下一篇

猜你喜欢

热点阅读