xgboost原理

阅读XGBoost 与 Boosted Tree

基学习器：CART

每个叶子节点上面有一个分数

不够厉害，所以找一个更强的模型

tree ensemble

对每个样本的预测结果是每棵树预测分数的和

目标函数

采用boosting（additive training）方法，每一次都加入一个新的函数。依赖每个数据点上的误差函数的一阶导数和二阶导（区别于GBDT）。

树的复杂度

复杂度包含了一棵树里面的叶子个数和输出分数的L2模平方。把目标函数改写一下，可以得到一个一维二次函数。求出最好的w和所对应的obj目标函数。

打分函数切分算法