机器学习 | 机器学习课程笔记（组合模型-1）

1. 组合模型对于模型bias以及variance的影响：

• 定义
  bias：期望输出与真实标记的差别称为偏差。
  variance：不同的训练数据集训练出的模型的输出值之间的差异，它表示了模型的稳定程度。
• bias变化
  不同bias倾向的弱模型组合，组合具备非线性的分类能力，效果是减少bias。
• variance变化
  不同variance倾向的弱模型组合，中和不稳定variance模型效果，相当于进行了正则化。

2. 为了生成组合模型，有几种不同的思路：

• 数据角度
  对数据进行不同的切分
• 模型角度
  对模型的种类和参数进行不同的分类，几种不同的种类：Bagging/Boosting/Spliting
  • Bagging：有放回的对数据抽样，建模。
  • Boosting：追求每一轮模型跟上一轮模型的差异尽量最大化。将每一轮的误差数据赋予更大的权重，在下一轮抽样的时候重新训练模型。
  • Spliting：将高纯度的同类别样本进行组合在一起，进行分类别的训练。用特征取值切分样本。决策树就是一种spliting的方式。