判别模型和生成模型
2017-10-16 本文已影响45人
CodingFish
判别模型和生成模型总结与对比
| 判别模型(Discriminative Models) | 生成模型(Generative Models) | |
|---|---|---|
| 特点 | 在有限样本条件下建立判别函数，寻找不同数据间的最优分类面，目标是实现分类 | 首先建立样本的联合概率分布，再利用模型进行推理预测。要求已知样本无穷或尽可能的大 |
| 区别 | 估计条件概率分布P(y\x) | 估计联合概率分布P(x,y) |
| 联系 | 生成模型可得到判别模型 | 判别模型得不到生成模型 |
| 常见模型 | ME、CRF、LR、SVM、Boosting、线性回归、NN | NB、HMM、Gaussian mixture model、AODE、Latent Dirichlet allocation、Restricted Boltzmann Machine |
| 优势 | 1.面向分类边界的训练、比使用纯方法高级。 2.能够清晰地分辨类别之间的差异特征。 3.可用于多类对的学习和识别。 4.简单、容易学习。 |
1.面向整体数据的分布。 2.能够反映同类数据本身的相似度。 3.模型可以通过增量学习得到。 4.可用于数据不完整的情况 |
| 劣势 | 1.不能反映训练数据本身的特性，只能用于类别识别。 2.在训练时需要考虑所有的数据元组，当数据量很大时，该方法的效率并不高 3.缺乏灵活的建模工具和插入先验知识的方法。黑盒操作：变量间的关系不可视 |
1.生成模型分类器需要产生的所有变量的联合概率，资源使用量大。 2.分类性能不高，类别识别精度有限。 3.学习和计算过程复杂。 |
| 性能 | 较高 | 较低 |
| NLP应用 | 所有的序列标注和结构化学习 | 文本分类、词性标注等 |
