使用kNN对鸢尾花分类

2021-06-28 本文已影响0人青伢子

学习目标

如何创建数据挖掘工作流？
如何使用文件组件加载数据集？
什么是特征？
使用散点图组件使用“信息投影”实现数据数据分类？

问题描述

你是一名植物学爱好者，对鸢尾花（Iris）的品种很感兴趣，你收集了一些鸢尾花的以下测量数据：

花瓣的长度
花瓣的宽度
花萼的长度
花萼的宽度

所有测量结果的单位都是厘米

萼长	萼宽	瓣长	瓣宽	类别
5.1	3.5	1.4	0.2	?
4.9	3	1.4	0.2	?

screenshot_1587734582109.png

你还有一些鸢尾花分类的测量数据，这些花已经被植物学专家鉴定为属于Iris setosa（山鸢尾）、Iris versicolor（变色鸢尾）或 Iris virginica（维吉尼亚鸢尾花）三个品种之一。对于这些测量数据，你可以确定每朵鸢尾花所属的品种。

现在的问题，你想知道采集的鸢尾花是不是这些已知的品种，如果是，是哪一种。

模型（model）

我们的目标是构建一个机器学习模型，可以从这些已知品种的鸢尾花测量数据中进行学习，从而能够预测新鸢尾花的品种。因为我们有已知的鸢尾花的测量数据，所以这是一个监督学习问题。

类别（class）

在这个问题中，我们要在多个选项中预测其中一个（鸢尾花的品种），这是一个分类（classification）问题的示例。可能的输出(鸢尾花的品种）叫做类别（class）。数据集中的每朵鸢尾花都属于三个类别之一，所以这是一个三分类问题。

标签（label）

单个数据点（一朵鸢尾花）的预期输出是这朵花的品种。对于一个数据点来说，它的品种叫做标签（label）。

特征（feature）

采集到的鸢尾花数据包含：萼长、萼宽、瓣长、瓣宽4个特征，我们选择瓣长、瓣宽两个属性，并以瓣宽为X轴，瓣长为Y轴在二维平面上将这些样本绘制出来，从图中可以看出变色鸢尾花和维吉利亚鸢尾花两个类别的有一部分样本混合在一起，而山鸢尾花和其它两个类别的花能够能够很好的区分开来。

使用散点图可以可视化查看测试数据，由于采集到的样本有四个属性，是一个4维的向量，不能在平面上展示出来，因此我们人工选择瓣长、瓣宽两个属性分别作为x和y轴的属性，从而在散点图上展示样本的分布情况。

通过查找信息投影（Find Information Projections）按钮自动选择最具有分辨能力的两个特征：瓣长、瓣宽。

screenshot_1590981938297.png

接下来我们通过k近邻算法用机器来统计有多少花能够正确的分类，识别的正确率有多少。

kNN 算法

算法

k 近邻（kNN）算法把每个样例看做是空间上的一个点，给定一个测试样例，使用适当的邻近性度量算法，计算出该点与训练集中其他点的邻近度。选择 K 个最相近的点。在选择出的 K 个样例中，比例最好的类就是测试样例的类。

从以上描述中可以看出，如果 k 选择的太小，该算法容易受到噪声的影响，而产生过度拟合的影响，然而如果选择的过大，可能造成误分类。

算法描述

k是最近邻数目，D是训练样例的集合，z是测试样例
for 样例 in 训练样例集合：
    计算 z和每个样例的相似度
找到k个最相近的样例集合
k个样例中类标号最多的类，就是测试样例的类标号

实验与评估

实验平台

Orange（http://orange.biolab.si/）由斯洛文尼亚大学计算与信息学系的生物信息实验室BioLab开发，是一个基于组件的数据挖掘和机器学习软件套装，支持 Python 进行脚本开发。
Orange是一个开源的数据挖掘和机器学习软件。Orange 基于 Python 和 C/C++ 开发，提供了一系列的数据探索、可视化、预处理以及建模组件。Orange 拥有漂亮直观的交互式用户界面，非常适合新手进行探索性数据分析和可视化展示；同时高级用户也可以将其作为 Python 的一个编程模块进行数据操作和组件开发。
从 3.0 版本开始使用 Python 代码库进行科学计算，例如 numpy、scipy 以及 scikit-learn，前端的图形用户界面使用跨平台的 Qt 框架。
Orange 支持 Windows、macOS 以及 Linux 平台。

建议使用Anaconda集成环境，通过Anaconda Navigator 安装Orange软件。

Iris 数据集

本教程使用标准的Iris数据集，Iris 数据集是常用的分类实验数据集，由 Fisher, 1936 收集整理。Iris 也称鸢尾花卉数据集，是一类多重变量分析的数据集。Iris 数据集包含三个花的品种，每个品种各 50 个样本，共计150个样本，每个样本四个特征参数:萼片长度和宽度、花瓣长度和宽度

Iris setosa（山鸢尾）
Iris virginica（维吉尼亚鸢尾花）
Iris versicolor（变色鸢尾）

实验设计

实验模型图

screenshot_1590974874686.png

添加文件组件

添加 File 组件，并设置数据源为 Orange 内置的测试数据集 Iris （英文）或者我们提供的 Iris.csv （中文）文件。

在 Orange 面板上找到 File 组件，并拖放到操作面板上
双击 File 图标，选择数据文件
将类别这一列的 Role（角色）设置为 target（目标）

通过给文件（File）组件连接一个数据表（ Data Table）组件可以观察数据，通过给文件组件连接一个散点图（Scatter Plot），可以观察数据的分布情况。

双击File组件，设置文件的地址为我们提供的iris.csv文件，如图所示，鸢尾花数据集（Iris）包含四个特征（feature）列和一个目标列（target）。

这里需要手动双击“类别”的角色（Role）更改为 target，告诉系统类别是我们识别的目标分类属性，它是目录化（categorical）的特征，一共有3种取值（数据只有3类），分别是变色鸢尾花、山鸢尾花、维吉尼亚鸢尾花。

screenshot_1590944997297.png

算法评估

从评估（Evaluate）面板组中拖动测试与评分（Test and Score）组件到工作台，并从模型（Model）面板组中拖动k近邻分类器（kNN）组件到工作台，并参考实验模型图建立组件之间的关联，双击测试与评分（Test and Score）组件，可以看到kNN算法的执行结果，精确度（Precision）为0.953，即95.3%的样本能够被正确的识别，这个模型也算是不错了，这个过程我们没有写任何代码。

screenshot_1590977934161.png

最后我们从评估（Evaluate）面板组中拖动混淆矩阵（Confusion Matrix）组件到工作台，并建立连接，双击混淆矩阵组件，我们发现一共有7个样本被识别错误。其中有3个实际上是维吉利亚鸢尾花被识别为变色鸢尾花，有4朵实际上是变色鸢尾花被识别为维吉利亚鸢尾花，而所有的山鸢尾花都被正确的识别。

screenshot_1590978618243.png

选择误分类（Select Misclassified）的按钮，打开数据表（Data Table）组件，可以查看那些样本被错误分类，并分析其原因。

screenshot_1590981445576.png

至此，一个完整的机器学习任务的就完成了，下一篇，我们将介绍应用决策树帮助老师对学生分组，实施差异化教学。