决策树的剪枝与分类回归树

1.决策树的过拟合问题

决策树生成算法递归地产生决策树，直到不能继续下去为止。通过这样的方式产生的决策树容易产生过拟合问题。过拟合的原因在于学习时过多地考虑如何提高对训练数据的正确分类，从而构建出过于复杂的决策树。

2.什么是决策树的剪枝？

在决策树学习过程中将已生成的树进行简化的过程称为剪枝（Pruning）。具体地，剪枝从已经生成的树上裁掉一些子树或叶节点，并将其根节点或父节点作为新的叶节点，从而简化分类树模型。

3.一种简单的决策树学习的剪枝算法

决策树的剪枝往往通过极小化决策树整体的损失函数（Loss Function）或者 代价函数（Cost function）来实现。

CART 算法

分类与回归树模型（CART）是应用广泛的的决策树学习方法。CART 同样由特征选择、树的生成以及树的剪枝组成，既可以用于树的分类，也可以用于回归。