监督学习

基本概念

• 将输入和输出所有可能取值的集合分别称为输入空间和输出空间
• 每一个具体的输入是一个实例，通常由特征向量表示
• 特征向量存在的空间称为特征空间，特征空间的每一维对应一个特征
• 用来学习模型的数据集称作训练数据集
• 用来测试模型的数据称作样本集

预测任务的类别

根据输入、输出的不同类型可以把预测任务分为以下几类：

• 输入和输出都是连续的预测问题称为回归问题
• 输出为有限个离散变量的预测问题称为分类问题
• 输入和输出都是变量序列的预测问题称为标注问题

假设空间

监督学习的目的在于学习一个由输入到输出的映射，这一映射由模型来表示。这个映射的集合就是假设空间，确定假设空间就是确定学习的范围。

学习过程

监督学习利用训练数据集学习一个模型，再用这个模型对样本集进行预测，而训练数据集是由人工给出的，所以称为监督学习，学习过程分为学习和预测两个步骤。

在学习过程中，学习算法通过训练数据集中的信息学习模型，使得预测出来的值和实际值的差距尽可能小。