机器学习 | 决策树

本文仅作网络笔记用，不定时完善。

决策树根据输出的不同，分为回归树和分类树，但两种树的学习过程并无特别大的不同，都是分为两步：

• 决策树生成
• 决策树剪枝

1、特征选择方法

entropy relation diagram

• 熵：随机变量X的熵被定义为：