sklearn 中的决策树
sklearn.tree中包含决策树，和极端随机树两类方法。
DecisionTree
sklearn使用CART方法训练决策树。DecisionTreeClassifier和DecisionTreeRegressor 分别是用于分类和回归的决策树方法。
DecisionTreeClassifier常用参数包括
- criterion：用于指定节点不纯度度量。默认为“gini”系数，还可指定为“entropy”。
- splitter：节点分割的策略，默认为“best”，可指定为“random”。决策树每次基于某个特征进行节点分割，“best”则从所有特征中选择能够最小化不纯度的那个特征和对应的阈值进行分割，适用于数据集较少的时候。“random”则随机选择特征进行最小化不纯度分割，适用于数据量大的时候。
- max_feature：在使用 “best” splitter 时，该参数限制考虑的最大特征数，默认为None，即考虑所有特征进行 “best” splitter。可传入整数、分数指定要看的特征数目或比例。还可传入“sqrt”，“log”根据特征总数确定使用的特征数目。
如果在选定的 max_feature 个特征中没有得到有效的分割（收节点样本数等限制），会继续在 max_feature 之外的特征上迭代，直到得到有效的分割。
下列参数用来限制决策树的形状规模大小：
- max_depth：最大深度，默认为None。
- min_samples_split：每个待分割节点中需要含有的最小样本数，默认为2。不足的不进行分割。对于大样本数，可适当增大该值。接受整数和分数。
- min_samples_leaf：每次分割后的叶子节点需要包含的最小样本数，默认为1。否则不考虑分割。这有助于平滑模型。同样可接受整数和分数。
- min_weight_fraction_leaf：和min_samples_leaf 类似，要求一个子节点上的所有样本实例的最小权重和。默认为0。如果没有设置每个样本的权重，则默认所有样本权重相同。
- max_leaf_nodes：最大节点数。
- min_impurity_decrease：每次分割要达到的最小不纯度降低率，不足该值则不予分割。接受参数为分数。
不纯度降低率 =
其中为待分割节点，
和
为左右子节点，
表示样本数，
表示不纯度。如果样本具有权重，则
对于DecisionTreeRegressor 参数也是类似的，但度量不纯度的 criterion 有所不同，其可选的参数为“mse”，“friedman_mse”，“mae”，默认为“mse”。
决策树学习器通过 fit 方法进行训练，除了样本X和输出y之外，可以输入sample_weight参数指定样本权重（会影响到上面的min_weight_fraction_leaf，min_impurity_decrease计算方法）
predict 用于预测。在DecisionTreeClassifier中还有predict_proba、predict_log_proba方法用于预测各类的概率和对数几率。
在训练后sklearn会自动计算每个特征的重要性。可以通过学习器的属性 feature_importances_ 进行查看。
ExtraTree
sklearn.tree 中还包含ExtraTreeClassifier 和 ExtraTreeRegreoosr。极端随机树与一般的决策树之间的区别在于树生成的方式。在节点上寻求最佳分割（splitter = “best”）时，随机树会为每个随机选取的max_features个特征进行随机分割，再从中选取最小化不纯度的那个。一般决策树则为每个特征进行最小化不纯度的分割后，再选择其中最小化不纯度的。
如果max_features 为1，那么整个树则为完全随机的。要注意，极端随机数只能在集成方法中使用，不可单独哪来作为学习器，因为其随机性不具备指导意义。实际上，sklearn.ensemble中也有 ExtraTreeClassifier 和 ExtraTreeRegreoosr 两个方法，就是组合了多个极端随机书的集成学习器。一般来说，使用的也是sklearn.ensemble中的这两个方法，而不是sklearn.tree中的。
具体的参数和上面的DecisionTree类似。对于集成学习的方法，要对bootstrap 和 oob_score 参数予以注意，确认数据采样的方式。
输出
sklearn.tree中还包含了export_text 和 export_graphviz 两种输出方法。分别用文本和图像信息两种方式输出树结构。
