统计学习

基本分类

监督学习：从输入和输出的对应关系中学习统计规律（映射）

输入和输出都是连续变量的预测问题，称为回归问题

输出变量为有限个离散变量的预测问题，称为分类问题

输入输出都是变量序列的称为标注问题

无监督学习：直接学习数据中的统计规律

聚类

降维

概率

强化学习：与环境的连续互动中学习最优行为策略。系统通过不断试错，找到最优策略

半监督学习和主动学习

按模型分类

概率模型和非概率模型：概率模型采用条件概率分布形式，非概率模型采取函数形式。条件概率分布和函数可以相互转化。概率模型和非概率模型的区别不在于输入和输出之间的映射关系，而是模型的内在结构

线性模型和非线性模型

参数化模型和非参数化模型

按算法分类

在线学习和批量学习：一个是实时学习，一个是按批次学习

按技巧分类

贝叶斯学习、核方法