贝叶斯分类器

基础知识：条件概率知识

在介绍条件概率之前我们先来看普通的概率如何计算：

条件概率图例.png

对于大桶：P1代表取到蓝色球的概率，P2代表取到红色球的概率显然有P1=4/7 P2=3/7

如果将这些球放在两个桶里面，例如桶A与桶B则在桶A或者桶B中取得蓝色球或者红色球的概率即为条件概率。我们假设在桶B中取得红色球的概率为P1(R|B),则P1(R|B)的计算为先计算桶B中红色球取得的在两个桶中总球数的概率显然为P1(rb)=1/7 B桶中球占总球数的概率P(b)=3/7，则计算P1(R|B)=P1(rb)/P(b)=(1/7)/(3/7)=1/3

对于这个题来说是看起来很显然的事情，没必要这么复杂的计算，但是这个公式帮助我们在更多特征时计算提高效率

另一个计算条件概率的准则成为贝叶斯准则，这个也就是这个算法的核心概念。告诉我们如何更换原来的条件与结果计算概率，即如果知道P(x|c)如何求P(c|x)，可以使用下面的计算方法：
P(c|x)=(P(x|c)P(c))/P(x)

贝叶斯分类准则：
p(c1|x,y)>p(c2|x,y)，那么属于类别1
p(c1|x,y)<p(c2|x,y)，那么属于类别2

其中p(c1|x,y)代表取一个(x,y)代表的点，这个点来自c1的概率，与在c1中取一个(x,y)代表的点的概率是不一样的，这也就是为什么我们需要贝叶斯定理的原因。