决策树分类和回归入门实战和模型性能对比
一、什么是决策树
决策树算法，人如其名，结构就像一棵树，有分叉的枝丫和树叶。枝丫的分叉处是关于目标某一个特征的判断，枝丫本体则是关于该特征的判断结果，而叶子则是判断过后产生的决策结果。
image
上图就是一个最为简单的分类树决策，当我们看天气预报时，根据降雨、雾霾、气温、活动范围是室内活动还是室外活动等等特征将自己的行为分类为出门和不出门。简单来说，决策树可以被看做由一大堆if-then的判断，每一条枝丫都是一条规则。
决策树算法的核心解决两个问题：
- 如何从数据表中找出最佳节点和最佳分枝？
决策树是对特征提问，如何找出最佳节点和最佳分支，我怎么知道哪些特征提问，才能生成有效的树呢？ - 如何让决策树停止增长，防止过拟合？
如果我有无数个特征，决策树会长成什么样子，他是不是会长成无数层深，我们要怎么样让它停止成长呢？怎么样防止过拟合呢？
1.1 决策树的优点
- 计算简单，易于理解，可解释性强;
- 比较适合处理有缺失属性的样本;
- 能够处理不相关的特征;
- 在相对短的时间内能够对大型数据源做出可行且效果良好的结果。
1.2 决策树的缺点
- 容易发生过拟合(随机森林可以很大程度上减少过拟合);
- 忽略了数据之间的相关性;
- 对于那些各类别样本数量不一致的数据，在决策树当中,信息增益的结果偏向于那些具有更多数值的特征(只要是>- 使用了信息增益，都有这个缺点，如RF)。
决策树可以用来分类，也可以用来回归。
1.3 决策树参数
sklearn决策树的两个类：
tree.DecisionTreeClassifier()
tree.DecisionTreeRegressor()
决策树的重要参数Criterion：
Criterion这个参数正是用来决定不纯度的计算方法的。sklearn提供了两种选择：
- “entropy”，使用信息熵（Entropy）
- “gini”，使用基尼系数（Gini Impurity）
通常就使用基尼系数
数据维度很大，噪音很大时使用基尼系数
维度低，数据比较清晰的时候，信息熵和基尼系数没区别
决策树的重要参数random_state：
random_state用来设置分枝中的随机模式的参数，默认None，在高维度时随机性会表现更明显，低维度的数据（比如鸢尾花数据集），随机性几乎不会显现。输入任意整数，会一直长出同一棵树，让模型稳定下来。
决策树的重要参数splitter：
splitter也是用来控制决策树中的随机选项的，有两种输入值，输入”best”，决策树在分枝时虽然随机，但是还是会优先选择更重要的特征进行分枝（重要性可以通过属性feature_importances_查看），输入“random”，决策树在分枝时会更加随机，树会因为含有更多的不必要信息而更深更大，并因这些不必要信息而降低对训练集的拟合。这也是防止过拟合的一种方式。当你预测到你的模型会过拟合，用这两个参数来帮助你降低树建成之后过拟合的可能性。当然，树一旦建成，我们依然是使用剪枝参数来防止过拟合。
剪枝参数
在不加限制的情况下，一棵决策树会生长到衡量不纯度的指标最优，或者没有更多的特征可用为止。这样的决策树往往会过拟合，过拟合这就是说，它会在训练集上表现很好，在测试集上却表现糟糕。我们收集的样本数据不可能和整体的状况完全一致，因此当一棵决策树对训练数据有了过于优秀的解释性，它找出的规则必然包含了训练样本中的噪声，并使它对未知数据的拟合程度不足。
剪枝策略对决策树的影响巨大，正确的剪枝策略是优化决策树算法的核心。sklearn为我们提供了不同的剪枝策略：
1. max_depth
限制树的最大深度，超过设定深度的树枝全部剪掉
这是用得最广泛的剪枝参数，在高维度低样本量时非常有效。决策树多生长一层，对样本量的需求会增加一倍，所以限制树深度能够有效地限制过拟合。在集成算法中也非常实用。实际使用时，建议从=3开始尝试，看看拟合的效果再决定是否增加设定深度。
2. min_samples_leaf
min_samples_leaf 限定，一个节点在分枝后的每个子节点都必须包含至少min_samples_leaf个训练样本，否则分枝就不会发生，或者，分枝会朝着满足每个子节点都包含min_samples_leaf个样本的方向去发生
一般搭配max_depth使用，在回归树中有神奇的效果，可以让模型变得更加平滑。这个参数的数量设置得太小会引起过拟合，设置得太大就会阻止模型学习数据。一般来说，建议从=5开始使用。如果叶节点中含有的样本量变化很大，建议输入浮点数作为样本量的百分比来使用。同时，这个参数可以保证每个叶子的最小尺寸，可以在回归问题中避免低方差，过拟合的叶子节点出现。对于类别不多的分类问题，=1通常就是最佳选择。
3. min_samples_split
min_samples_split限定，一个节点必须要包含至少min_samples_split个训练样本，这个节点才允许被分枝，否则分枝就不会发生。
如果一个样本包20个样本，我们在不限定的情况下会不断分下去的，如果设定min_samples_split=15，那么这个节点就不会分了。
二、决策树分类
2.1 准备数据
iris = pd.read_csv('http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data',header=None)
iris.columns=['SepalLengthCm','SepalWidthCm','PetalLengthCm','PetalWidthCm','Species']
le = LabelEncoder()
le.fit(iris['Species'])
features = ['SepalWidthCm','PetalWidthCm']
X = iris[features]
y = le.transform(iris['Species'])
2.2 进行分类
tr = tree.DecisionTreeClassifier()
tr.fit(X,y)
score = numpy.mean(cross_val_score(tr,X,y,cv=5,scoring='accuracy'))
print('决策树分类模型平均性能得分：'+str(score))
输出的结果：决策树分类模型平均性能得分：0.933333333333
我们修改一下决策树的参数在进行一次模型性能评估。
tr = tree.DecisionTreeClassifier(criterion="entropy",random_state=10,splitter="best",max_depth=10,min_samples_leaf=5,min_samples_split=5)
score = numpy.mean(cross_val_score(tr,X,y,cv=5,scoring='accuracy'))
print('决策树分类模型平均性能得分：'+str(score))
输出结果：决策树分类模型平均性能得分：0.94，稍微好一点。参数的其他选项请自行测试。
2.3 和logistic分类对比
lm = linear_model.LogisticRegression()
score = numpy.mean(cross_val_score(lm,X,y,cv=5,scoring='accuracy'))
print('logistic回归模型平均性能得分：'+str(score))
输出的结果：logistic回归模型平均性能得分：0.94
可见，在此数据集中，logistic模型和决策树模型的准确率差不多。
如何生成决策树可视化，请参考模块graphviz
三、决策树回归
我们上面已经准备好数据了，我们只需要构造一下我们的因变量y，让它y = iris[‘PetalWidthCm’]
3.1 进行回归
y = iris['PetalWidthCm']
tr = tree.DecisionTreeRegressor()
score = numpy.mean(-cross_val_score(tr,X,y,cv=5,scoring='neg_mean_squared_error'))
print('平均性能得分：'+str(score))
输出结果为：决策树回归模型平均性能得分：0.0008
3.2 和线性回归对比
lm = linear_model.LinearRegression()
score = numpy.mean(-cross_val_score(tr,X,y,cv=5,scoring='neg_mean_squared_error'))
print('线性回归模型平均性能得分：'+str(score))
输出结果为：决策树回归模型平均性能得分：0.0042
可以看到决策树回归模型性能更好。未来我会对如何选择最优的特征值，如何选择最优的模型，如何选最优的模型参数进行详细深入的分享。
全部代码
import pandas as pd
from sklearn.model_selection import cross_val_score
import numpy
from sklearn.preprocessing import LabelEncoder
from sklearn import linear_model
from sklearn import tree
from sklearn import ensemble
iris = pd.read_csv('http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data',header=None)
iris.columns=['SepalLengthCm','SepalWidthCm','PetalLengthCm','PetalWidthCm','Species']
le = LabelEncoder()
le.fit(iris['Species'])
features = ['SepalWidthCm','PetalWidthCm']
X = iris[features]
y = le.transform(iris['Species'])
tr = tree.DecisionTreeClassifier(criterion="entropy",random_state=10,splitter="best",max_depth=10,min_samples_leaf=5,min_samples_split=5)
score = numpy.mean(cross_val_score(tr,X,y,cv=5,scoring='accuracy'))
print('决策树分类模型平均性能得分：'+str(score))
lm = linear_model.LogisticRegression()
score = numpy.mean(cross_val_score(lm,X,y,cv=5,scoring='accuracy'))
print('logistic回归模型平均性能得分：'+str(score))
y = iris['PetalWidthCm']
tr = tree.DecisionTreeRegressor()
score = numpy.mean(-cross_val_score(tr,X,y,cv=5,scoring='neg_mean_squared_error'))
print('决策树回归模型平均性能得分：'+str(score))
lm = linear_model.LinearRegression()
score = numpy.mean(-cross_val_score(tr,X,y,cv=5,scoring='neg_mean_squared_error'))
print('线性回归模型平均性能得分：'+str(score))
