分类基本概念与决策树

分类的概念

分类的基本任务就是根据给定的一系列属性集，最后去判别它属于的类型！

比如我们现在需要去给动物分类，类别可选项为哺乳类，爬行类，鸟类，鱼类，或者两栖类。给你一些属性集如这个动物的体温，是否胎生，是否为水生动物，是否为飞行动物，是否有腿，是否冬眠。

现在分类的基本任务就是，已知一个动物的属性集，判断或预测这个动物属于哪一种类别？

要解决上述的问题，也就是我们需要找到一个由属性集到类别的映射函数f（称作分类模型），来决定最后的分类。

分类模型f

分类法的例子包括：决策树分类法、基于规则的分类法、神经网络、支持向量机和朴素贝叶斯分类法。这些技术都使用一种学习算法确定分类模型！

决策树分类法

决策树

从根节点开始，每个分支都会包含一个属性测试条件，用于分开具有不同特性的记录，最终到达叶节点，即可得到类标号。

如何建立决策树？

hunt算法：

hunt算法描述

为了更好的理解该算法的执行过程，下面给出一个例子：

给出训练数据集

决策树的构造过程

决策树构造

决策树归纳的设计问题

（1）、如何选择合适的属性测试条件，将记录划分成较小的子集？

（2）、如何停止分裂过程，即作为叶节点的条件是什么？