Day 2079：学习

决策树：基本的分类与回归方法。本质是从训练数据集中归纳出一组分类规则

学习策略：找出和训练数据矛盾较小的决策树，同时有比较好的泛化能力

算法：一个递归选择最优特征，并依据该特征对训练数据进行分割，使得每个子集有一个最好的分类过程

特征选择：特征选择的准则是信息增益或增益比

决策树生成：ID3算法、C4.5算法

决策树剪枝

CART算法：分类与回归树（Classification and Regression Tree。CART） ，应用广泛的决策树学习方法。同样由特征选择、树的生成和剪枝组成

CART生成：递归构建二叉决策树，回归树用平方误差最小化准则，分类树用基尼指数最小化准则

剪枝：从完全生长的决策树底端剪去一些子树，使模型简单，对未知有更准确的预测