机器学习基础系列

决策树系列

2019-07-14 本文已影响0人邓沉香

决策树：

特征选择准则

信息增益（ID3）
信息增益比（C4.5）
GINI指数（用于CART中分类树生成）

剪枝

信息增益（ID3）：
$g(D,A)=H(D)-H(D|A)$
其中 $g(D,A)$ 为所计算的增益值，其中参数 $D$ 为整个训练样本集合， $A$ 为样本的某一特征。
$H(D)=-\displaystyle \sum^{K}_{k=1}{\frac{|C_k|}{|D|}}\log(\frac{|C_k|}{|D|})$
其中 $C_k$ 表示样本集合 $D$ 被分成 $k$ 类之后每一类的样本集合， $|C_k|$ 则表示该集合的样本个数。 $|D|$ 同理。
$H(D|A)=\displaystyle \sum^{n}_{i=1}{\frac{|D_i|}{|D|}}H(D_i)=-\displaystyle \sum^{n}_{i=1}{\frac{|D_i|}{|D|}}\displaystyle \sum^{K}_{k=1}{\frac{|D_{ik}|}{|D_i|}}\log(\frac{|D_{ik}|}{|D_i|})$

上一篇下一篇

猜你喜欢

热点阅读