Logistic Regression vs Naive Bay
2019-05-01 本文已影响16人
cherryleechen
相同
逻辑回归和朴素贝叶斯都是对条件概率进行建模,使得最终的分类结果有很好的解释性。
不同
具体流程
- 逻辑回归:
假设满足逻辑函数
其中,,即
通过梯度下降最小化直接求解。 - 朴素贝叶斯:
贝叶斯:
不直接求解,先求解和,再通过贝叶斯公式
求解。
朴素:
且其假设特征满足条件独立性:给定类别,不同维度的特征取值之间相互独立,即
如果特征取离散值,可以直接根据训练数据统计出和。
如果特征取连续值,需要假设的形式,如高斯分布,其对应值形式确定,根据训练数据利用MLE求解出和后,由和确定值。
预测时,求解使得最大的作为最终的分类结果。
模型类别
逻辑回归是判别模型;朴素贝叶斯是生成模型。
判别模型的目标是找到一个最能够区分不同类的边界,它不在乎每一类中样本点是如何分布的;
生成模型首先对各类中的样本分布进行建模,
好处是需要的训练数据更少、对于噪声点更鲁棒(该点与假设不符合,可能是噪声点)、和可以来自不同的源。
如何取舍
当特征间满足条件独立性假设时,随着训练数据中样本个数的增加,在极限情况下,逻辑回归和高斯朴素贝叶斯分类结果一致。
高斯朴素贝叶斯的收敛速度比逻辑回归更快,
当训练数据中样本数目较小时,高斯朴素贝叶斯往往比逻辑回归表现得更好;
当样本数目较大时,由于逻辑回归的极限误差更低,它会比高斯朴素贝叶斯表现得更好。
与逻辑回归相比,朴素贝叶斯的方差更小,偏差更大。
比起逻辑回归来,朴素贝叶斯会较为受限于特征工程,当假设不成立时,假设会对分类的准确性造成负面的影响。