提升方法之AdaBoost算法的基本原理

1 提升（Boosting）模型的学习过程

image.png

从上图中不难看出，以平时的学习为例，每一次月考都是对自己学习知识的检验，然后根据考试的结果对知识点进行查漏补缺，然后调整知识点的学习精力和权重，然后进行下一次月考，直到达到可以参加高考的水平。以上的考试过程就相当于Boosting模型的学习过程，通过不断学习更改训练数据集，训练得到多个弱学习器，最后将多个弱学习器预测结果加权融合，得到最终的强学习器。

image.png

2 提升方法主要解决的问题

针对以上的学习过程，对提升算法来说，有两个问题需要解决：1、每一轮遍历如何改变数据的权值或概率分布？2、如何将多个弱分类器组合成一个强分类器？

• 第一个问题的解决方法
  提高那些被前一轮弱分类器错误分类样本的权值，降低那些被正确分类样本的权值。这样使没有被正确分类的数据在后一轮的弱分类器中获得更大的关注。于是，分类问题被一系列的弱分类器“分而治之”。
• 第二个问题的解决方法
  弱分类器的组合在AdaBoost中采取加权多数表决的方法，即就是加大分类误差率小的弱分类器的权值，使其在表决中起到较大的作用，相反的，减小分类误差率大的弱分类器的权值，使其在表决中起到较小的作用。

3 AdaBoost名称中Ada的来历

与一些早期的提升算法不同的是，AdaBoost具有适应性，即它能适应弱分类器各自的训练误差率。这也就是“适应的提升”的来历，Ada是Adaptive的缩写。