朴素贝叶斯
2017-10-08 本文已影响30人
初七123
朴素贝叶斯是典型的生成方法。生成方法由训练数据学习联合概率分布P(X,Y)，然后求得后验概率分布P(Y|X)。具体来说利用训练数据学习P(Y|X)、P(Y)的估计，得到联合概率分布
概率估计方法可以是极大似然估计或者贝叶斯估计(朴素贝叶斯和贝叶斯估计是不同的概念)
推导
条件独立性假设
朴素贝叶斯法对条件概率做了一个较强的假设
图片错误，应该是P(X=x|Y=ck)
“朴素贝叶斯”也因此得名
由贝叶斯定理有
将条件独立性假设代入上式有
然后只需要使后验概率最大化
因为上式的分母与Ck无关，所以
后验概率最大化的含义
后验最大化的本质是使期望风险最小化
设选择0-1损失函数
参数估计
我们可以用极大似然估计或者贝叶斯估计（可参考附录）得到所有
先验概率
以及
条件概率
代入到后验概率最大化公式即可得到向量X的分类
附录
参考
《统计学习方法》
