一、AdaBoosting算法

Adaboosting中的A是adaptive的意思，所以AdaBoosting表示自适应增强算法。Adaboosting算法可以将弱分类器通过数次迭代增强为强分类器。Adaboosting算法在每一步弱分类器收敛后，会将错误的分类权重加大，错误率越高，对应得到的当前弱分类器权重越小，最后按照权重将每一个弱分类器组合起来就是Adaboosting的结果

图1 adaboosting算法示意图

二、Adaboosting推导

AdaBoost算法使用加法模型，损失函数为指数函数，学习算法使用前向分步算法。加法模型为：

指数损失函数为：

前向算法的意思就是下一步的推导计算要用上一步的结果，因此我们需要最小化下面的式子

1.参考MLAPP