ML生物信息学与算法机器学习

【机器学习小笔记】决策树

2018-07-23  本文已影响3人  吕子吕子吕秀才

决策树一句话概括

通过信息增益,采用递归的方式生成树(找出最合适的节点顺序以及叶子对应的类标签)

举个栗子: 是否买计算机

问题描述:已知1024个人的年龄、收入、职业是否为学生、信誉是否良好及是否会有买计算机的行为,若已知一个新人的年龄、收入等信息,请判断该新人是否会买计算机。

数学表达:已知 1024 个样本的特征向量 ( x(1), x(2), x(4), x(4)) 和预测值Y以及新样本的特征向量,计算新样本预测值Y。

如图所示

人数 年龄 收入 是否学生 信誉 标签:是否买计算机
64 不买
64 不买
128
60
64
64 不买
64
128 不买
64
132
64
32
32
63 不买
1
新样本

决策树步骤

一、总览

def createBranch():
    #判断边界
    if 数据集中的每个子项是否属于同一分类(是):
        return 类标签(叶子)    
    #递归生成树
    else:
        寻找划分数据集的最好特征         
        划分数据集                  
        创建分支结点    
            for 每个划分的子集:    
                createBranch()    
            return 分支结点

二、寻找划分数据集的最好特征

ID3:信息增益

C4.5:信息增益率

CART:基尼系数

三、具体过程——以ID3算法为例

m 个样本 —— m 个人

n 个特征向量 ( X(1), X(2), ... , X(n)) —— ( X(1), X(2), X(4), X(4) )

预测值 { Y1, Y2, ..., Yk } —— { Y1: 买, Y2: 不买 }

新样本X = ( x(1), x(2), ... , x(n)) —— 新人X= ( x(1), x(2), x(3), x(4) )


X 为买时概率为:
p(Y_1) = 641 / 1024

不买时概率为:
p(Y_2) = 383 / 1024

X在年龄为青年的条件下买电脑的概率为 :
p(Y_1|youth) = 128 / 384

X在年龄为青年的条件下不买电脑的概率为:
p(Y_2|youth) = 256 / 384

X在年龄为中年的条件下买电脑的概率为:
p(Y_1|middle) = 256 / 256

X在年龄为中年的条件下不买电脑的概率为:
p(Y_2|middle) = 0 / 256

X在年龄为老年的条件下买电脑的概率为:
p(Y_1|old) = 125 / 252

X在年龄为老年的条件下不买电脑的概率为:
p(Y_2|old) = 127 / 252


信息熵的大小指的是了解一件事情所需要付出的信息量是多少,这件事的不确定性越大,要搞清它所需要的信息量也就越大,也就是它的信息熵越大,信息熵:
H(Y) = -\sum_{i=1}^{i=k}{p(Y_i)log_2(Y_i)}= -p(Y_1)log_2(p(Y_1))-p(Y_2)log_2(p(Y_2)) = 0.9537

条件熵:
H(Y|age) = p(youth)H(Y|youth) + p(middle)H(Y|middle) + p(old)H(Y|old)=0.6877

其中:
H(Y|youth) = -\sum_{i=1}^{i=k}{p(Y_i|youth)}log_2(p(Y_i|youth)) = p(Y_1|youth)log_2(p(Y_1|youth)+p(Y_2|youth)log_2(p(Y_2|youth) = 0.9183

H(Y|middle) = 0

H(Y|old) = 0.9157

信息增益:
IG(age) = H(Y) - H(Y|age) = 0.9537 - 0.6877 = 0.2660

同理:
IG(income) = H(Y) - H(Y|income) = 0.0176

IG(Student) = H(Y) - H(Y|Student) = 0.01726

IG(credit) = H(Y) - H(Y|credit) = 0.0453


年龄的信息增益最大,因此第一个结点为年龄,即:


将样本划分为青年、中年和老年三个数据集,在青年这个数据集中:
H(youth) = H(Y|youth)= 0.9183

IG(income)= H(youth) - H(youth|income)

IG(student)= H(youth) - H(youth|student)

IG(credit) = H(youth) - H(youth|redit)

其中是否为学生的信息增益最大,因此选择是否为学生作为青年集的结点,将青年数据集划分为学生集与非学生集,即:



在中年这个数据集中,所有人都会买电脑,属于同一个类别,返回类标签即可:



在老年这个数据集中,信誉的增益最大,因此选择将信誉作为老年集的结点,将其划分为优信誉集与良信誉集,即:

最终生成的决策树:略

四、补充

剪枝处理

连续与缺失值

参考:
《机器学习实战》【美】Peter Harrington

上一篇下一篇

猜你喜欢

热点阅读