lambda MART 学习笔记

1. 排序问题的解决方法可总结为3种：point wise，pair wise，list wise。

2. LambdaMART算法模型属于第三种，其中MART是回归树。多棵树，每棵在前一棵的基础上学习。

3. boosting思想：叠加多个弱模型，渐进的逼近真实情况。问题在于：如何保证拟合方向正确，如何叠加弱模型的结果。

4. AdaBoost法：每次计算一个弱模型，对此弱模型分类错误的样本，增加其权重，在下一个弱模型中去学习。每次学习的样本应该是没有变化的，只是有的样本权重增大了。即增加权重来保证拟合方向正确，加法模型叠加弱模型效果。

5. MART：回归树。前后两步模型损失函数的差，近似于损失函数对模型求导*f（m+1）。如何保证每一次迭代都对解决问题有所帮助，模型每次拟合的目标f（m+1）是损失函数的梯度。决策树实际上将样本空间分为不同的区域，并进行预测。引入学习率，使得每次学习的目标是学习率的一部分。shrinkage，缩减，防止过拟合。

6.LambdaMART 就是用一个λ值代替了损失函数的梯度，将λ和 MART 结合起来罢了。

7. RankeNet ：定义了一个连续可导的损失函数作为ranking的最优化目标，即概率的交叉熵。最终排序需要根据一个分数来进行比较，因此要得到一个计算分数的公式。根据公式计算，得到分数，就可得到偏序概率，即将分数经过sigmoid函数。再将偏序概率带入交叉熵函数，求导即可对函数的参数进行优化。

8. RankNet 的梯度下降表现在结果的整体变化中是逆序对的下降。RankNet 的梯度下降表现在单条结果的变化中，是结果在列表中的移动趋势。

则直接定义梯度，来使得移动的趋势更好。对ranknet的损失函数求梯度，即所有逆序对的值求导。

lambda（i，j），为损失函数L（i，j）对i的分数Si的导数，再加入NDCG的变化值。而每条文档移动的方向和趋势取决于其他所有与之 label 不同的文档。

9.LambdaMART：lambda是一个梯度，MART需要一个梯度，于是结合。