【ML】Linear Classification

Linear Classification

Hard Classification: 

    Perceptron

    Linear Discriminant Analysis

Soft Classification: 

    Logistic Regression

    Naive Bayes

    Gaussian Discriminant Analysis

判别式模型（Discriminative Model）：

1. 直接对条件概率p(y|x)进行建模，常见判别模型有：线性回归、决策树、支持向量机SVM、k近邻、神经网络等。

2. 判别式模型更直接，目标性更强。

3. 判别式模型关注的数据的差异性，寻找的是分类面。

4. 由判别式模式没法形成生成式模型。

生成式模型（Generative Model）：

1. 对联合分布概率p(x,y)进行建模，常见生成式模型有：隐马尔可夫模型HMM、朴素贝叶斯模型、高斯混合模型GMM、LDA等。

2. 生成式模型更普适。

3. 生成式模型关注数据是如何产生的，寻找的是数据分布模型。

4. 由生成式模型可以产生判别式模型。

Reference: 

https://blog.csdn.net/qq_39602006/article/details/113125857

https://blog.csdn.net/qq_41853758/article/details/80864072