ML&DL

Logistic Regression vs Naive Bay

2019-05-01  本文已影响16人  cherryleechen

相同

逻辑回归和朴素贝叶斯都是对条件概率P(y|X)进行建模,使得最终的分类结果有很好的解释性。

不同

具体流程

模型类别

逻辑回归是判别模型;朴素贝叶斯是生成模型。
判别模型的目标是找到一个最能够区分不同类的边界,它不在乎每一类中样本点是如何分布的;
生成模型首先对各类中的样本分布进行建模,
好处是需要的训练数据更少、对于噪声点更鲁棒(该点与假设不符合,可能是噪声点)、P(y)p(X|y)可以来自不同的源。

如何取舍

当特征间满足条件独立性假设时,随着训练数据中样本个数的增加,在极限情况下,逻辑回归和高斯朴素贝叶斯分类结果一致。
高斯朴素贝叶斯的收敛速度比逻辑回归更快,
当训练数据中样本数目较小时,高斯朴素贝叶斯往往比逻辑回归表现得更好;
当样本数目较大时,由于逻辑回归的极限误差更低,它会比高斯朴素贝叶斯表现得更好。
与逻辑回归相比,朴素贝叶斯的方差更小,偏差更大。
比起逻辑回归来,朴素贝叶斯会较为受限于特征工程,当假设不成立时,假设会对分类的准确性造成负面的影响。

上一篇下一篇

猜你喜欢

热点阅读