提升算法

提升方法Adaboost算法

提升方法的基本思路

对于一个复杂的任务来说，多个专家给出判断要比单个专家的判断要好。换句话说就是“三个臭皮匠顶个诸葛亮”

对于分类问题，提升方法就是从弱学习算法出发反复学习，得到一系列弱分类器，然后组合这些弱分类器，组成一个强分类器

提升方法需要明白的两个问题

• 一是在每一轮如何改变训练数据的权值或概率分布
  回答： 提高那些前一轮弱分类器错误分类样本的权值，降低那些正确分类样本的权值，这样错误分类的样本会得到后一轮更大的关注。
• 二是如何将弱分类器组合成强分类器