生成式与判别式

序

监督学习可分为生成式模型和判别式模型。

生成式模型

生成式模型学习到的是数据的联合概率分布P(X, Y)，进而根据联合概率分布与边缘分布的关系求出条件概率分布，这个条件概率模型就是我们最终的预测模型：

1. 典型的生成模型：
   朴素贝叶斯法、隐马尔科夫模型、混合高斯模型
2. 特点
   生成式方法可以还原联合概率分布P(X,Y)，而判别式不能；生成式的收敛速度较快；当存在隐变量时，仍可用生成式模型进行学习。

判别式模型

判别式模型是根据数据直接学习出一个决策函数f(X)或是一个条件概率分布P(Y/X)。判别方法关心的是对给定的输入X，应该预测什么样的输出Y。

1. 典型的判别式模型：
   KNN，感知机，决策树，逻辑回归，最大熵模型，SVM，提升方法，条件随机场，神经网络
2. 特点
   判别式直接学习的是条件概率P(X|Y)或者决策函数F(X)，直接面向预测，往往具有较高的学习准确率。
   或者说，这批模型从给定的X中通过复杂的函数映射等方法学习到了一个明显的分割边界，也就是判别式模型的训练过程是构建P(Y | X)模型中的复杂函数映射关系中的参数

转载注明：https://www.jianshu.com/p/ec683364015d