LightGBM学习
2017-11-14 本文已影响1286人
No_limit
视频连接：https://v.qq.com/x/page/k0362z6lqix.html
基本操作：http://blog.csdn.net/qq_22238533/article/details/72927755
调参：
分割数据集：http://blog.csdn.net/kancy110/article/details/74838102
优点：
直方图方法将连续的特征值离散化成一个个bin，提升了效率，节省了空间
带限制的leaf-wise的生长策略，相较于level-wise，leaf-wise在叶子数量一样时，能降低误差，得到更好地精度，加上限制防止生成深树而在小数据集上造成过拟合。
直接输入类别值，不用one-hot encoding。
直方图
带限制的叶子生长策略
支持类别值输入
比较1决策树的学习方法：leaf-wise每次选择收益最大的分裂，快速有效地学习，但过程是顺序的，影响加速；evel-wise可并行，但是有不必要的分裂，造成浪费。
两种方法比较
比较2XGBoost方法：presort排序对每个特征值进行计算，可以找到精确分割点，但是消耗大可能过拟合。level-wise时间节省，并行，但会有浪费，没有必要的计算。
预排序和层生长策略
LightGBM的几个特点：
1.将XGB的最大深度调整为叶子数
对应关系
2.提高效率的几个方式：
主要特性
3.如何使用LGB？
可用的方式
如何处理过拟合
