LightGBM学习
2017-11-14 本文已影响1286人
No_limit
视频连接:https://v.qq.com/x/page/k0362z6lqix.html
基本操作:http://blog.csdn.net/qq_22238533/article/details/72927755
调参:
分割数据集:http://blog.csdn.net/kancy110/article/details/74838102
优点:
直方图方法将连续的特征值离散化成一个个bin,提升了效率,节省了空间
带限制的leaf-wise的生长策略,相较于level-wise,leaf-wise在叶子数量一样时,能降低误差,得到更好地精度,加上限制防止生成深树而在小数据集上造成过拟合。
直接输入类别值,不用one-hot encoding。



比较1决策树的学习方法:leaf-wise每次选择收益最大的分裂,快速有效地学习,但过程是顺序的,影响加速;evel-wise可并行,但是有不必要的分裂,造成浪费。

比较2XGBoost方法:presort排序对每个特征值进行计算,可以找到精确分割点,但是消耗大可能过拟合。level-wise时间节省,并行,但会有浪费,没有必要的计算。

LightGBM的几个特点:
1.将XGB的最大深度调整为叶子数

2.提高效率的几个方式:

3.如何使用LGB?

