监督学习，即通过学习样本获取相关经验数据，并形成相关模型，通过该模型，对给定的输入数据预测相应的输出。

这样的模型一般表现为决策函数Y=f(X) 或条件概率的分布P(Y|X)， 常见的主要形式为判别模型(Discriminative Modeling)和生成模型(Generative Modeling)两种。

其中，生成模型由训练样本集中学习联合概率P(X,Y)，并求出条件概率分布P(Y|X)作为预测模型；判别模型通过训练集数据直接学习决策函数f(X)或者条件概率分布P(X,Y)作为预测模型，根据输入数据，预测输出数据，不生成模型不同，联合分布概率不是先决条件。常见的判别模型包括：感知机、决策树、逻辑回归、SVM、AdaBoost、神经网络等。

判别模型主要关心输入数据和输出数据的关系，或者在给定数据Ｘ的情况下，所对应的Ｙ应满足的分布，生成模型则试图描述Ｘ和Ｙ的联合分布。

生成模型 vs 判别模型

• 生成模型学习联合分布，以统计学角度表达数据分布情况，同时反映数据本身的相似度，但不关心分类边界在哪，它可以学习生成联概率的分布，判别模型则没有这样的特性。生成模型收敛速度更快，当样本容量增加时，训练后的模型可以更快收敛。

• 判别模型学习决策函数或者条件概率分布，无法有效反映数据本身特性。它寻找不同类别间的最优分类面，反映不同类间的差异，其学习准确率更高，可对数据进行各种程度的抽象描述、特征定义等，同时使用这些特征，有助简化学习过程。

常见生成式和判别式模型

• 生成模型

  朴素贝叶斯！
  混合高斯模型！
  隐马尔科夫模型(HMM)！
  贝叶斯网络
  Sigmoid Belief Networks
  马尔科夫随机场(Markov Random Fields)
  深度信念网络(DBN)

• 判别模型

  K近邻(KNN)
  线性回归(Linear Regression)
  逻辑斯蒂回归(Logistic Regression)
  神经网络(NN)
  支持向量机(SVM)
  高斯过程(Gaussian Process)
  条件随机场(CRF)
  CART(Classification and Regression Tree)

参考:
https://www.cnblogs.com/realkate1/p/5683939.html
https://blog.csdn.net/qq_35290785/article/details/100705017