【机器学习小笔记】决策树
决策树一句话概括
通过信息增益,采用递归的方式生成树(找出最合适的节点顺序以及叶子对应的类标签)
举个栗子: 是否买计算机
问题描述:已知1024个人的年龄、收入、职业是否为学生、信誉是否良好及是否会有买计算机的行为,若已知一个新人的年龄、收入等信息,请判断该新人是否会买计算机。
数学表达:已知 1024 个样本的特征向量 ( x(1), x(2), x(4), x(4)) 和预测值Y以及新样本的特征向量,计算新样本预测值Y。
如图所示:
人数 年龄 收入 是否学生 信誉 标签:是否买计算机 64 青 高 否 良 不买 64 青 高 否 优 不买 128 中 高 否 良 买 60 老 中 否 良 买 64 老 低 是 良 买 64 老 低 是 优 不买 64 中 低 是 优 买 128 青 中 否 良 不买 64 青 低 是 良 买 132 老 中 是 良 买 64 青 中 是 优 买 32 中 中 否 优 买 32 中 高 是 良 买 63 老 中 否 优 不买 1 老 中 否 优 买 新样本 青 低 否 良 ?
- 总人数:1024
买的人数:641
不买的人数:383 - 青年:384
青年中买的人数:128
青年中不买的人数:256 - 中年:256
中年买:256
中年不买: 0 - 老年: 252
老年买: 125
老年不买: 127 - 学生:略
- 非学生: 略
决策树步骤
一、总览
def createBranch():
#判断边界
if 数据集中的每个子项是否属于同一分类(是):
return 类标签(叶子)
#递归生成树
else:
寻找划分数据集的最好特征
划分数据集
创建分支结点
for 每个划分的子集:
createBranch()
return 分支结点
二、寻找划分数据集的最好特征
ID3:信息增益
C4.5:信息增益率
CART:基尼系数
三、具体过程——以ID3算法为例
- 基本数学符号:
m 个样本 —— m 个人
n 个特征向量 ( X(1), X(2), ... , X(n)) —— ( X(1), X(2), X(4), X(4) )
预测值 { Y1, Y2, ..., Yk } —— { Y1: 买, Y2: 不买 }
新样本X = ( x(1), x(2), ... , x(n)) —— 新人X= ( x(1), x(2), x(3), x(4) )
- 概率计算
X 为买时概率为:
p(Y_1) = 641 / 1024
不买时概率为:
p(Y_2) = 383 / 1024
X在年龄为青年的条件下买电脑的概率为 :
p(Y_1|youth) = 128 / 384
X在年龄为青年的条件下不买电脑的概率为:
p(Y_2|youth) = 256 / 384
X在年龄为中年的条件下买电脑的概率为:
p(Y_1|middle) = 256 / 256
X在年龄为中年的条件下不买电脑的概率为:
p(Y_2|middle) = 0 / 256
X在年龄为老年的条件下买电脑的概率为:
p(Y_1|old) = 125 / 252
X在年龄为老年的条件下不买电脑的概率为:
p(Y_2|old) = 127 / 252
- 寻找划分数据集的最好特征——信息增益
信息熵的大小指的是了解一件事情所需要付出的信息量是多少,这件事的不确定性越大,要搞清它所需要的信息量也就越大,也就是它的信息熵越大,信息熵:
H(Y) = -\sum_{i=1}^{i=k}{p(Y_i)log_2(Y_i)}= -p(Y_1)log_2(p(Y_1))-p(Y_2)log_2(p(Y_2)) = 0.9537
条件熵:
H(Y|age) = p(youth)H(Y|youth) + p(middle)H(Y|middle) + p(old)H(Y|old)=0.6877
其中:
H(Y|youth) = -\sum_{i=1}^{i=k}{p(Y_i|youth)}log_2(p(Y_i|youth)) = p(Y_1|youth)log_2(p(Y_1|youth)+p(Y_2|youth)log_2(p(Y_2|youth) = 0.9183
H(Y|middle) = 0
H(Y|old) = 0.9157
信息增益:
IG(age) = H(Y) - H(Y|age) = 0.9537 - 0.6877 = 0.2660
同理:
IG(income) = H(Y) - H(Y|income) = 0.0176
IG(Student) = H(Y) - H(Y|Student) = 0.01726
IG(credit) = H(Y) - H(Y|credit) = 0.0453
- 划分数据集,创建分支节点
年龄的信息增益最大,因此第一个结点为年龄,即:
将样本划分为青年、中年和老年三个数据集,在青年这个数据集中:
H(youth) = H(Y|youth)= 0.9183
IG(income)= H(youth) - H(youth|income)
IG(student)= H(youth) - H(youth|student)
IG(credit) = H(youth) - H(youth|redit)
其中是否为学生的信息增益最大,因此选择是否为学生作为青年集的结点,将青年数据集划分为学生集与非学生集,即:
在中年这个数据集中,所有人都会买电脑,属于同一个类别,返回类标签即可:
在老年这个数据集中,信誉的增益最大,因此选择将信誉作为老年集的结点,将其划分为优信誉集与良信誉集,即:
最终生成的决策树:略
四、补充
剪枝处理
- 预剪枝
- 后剪枝
连续与缺失值
-
连续值
-
缺失值
-
待更新
参考:
《机器学习实战》【美】Peter Harrington