有种决策叫贝叶斯决策
好接下来还是讲我看的第二章内容贝叶斯决策论(第一章绪论有空再回去总结,看了下第一章启蒙必不可少啊。。。)。
贝叶斯决策论是解决模式分类问题的一种基本统计途径。其出发点是利用概率的不同分类决策与相应的决策代价之间的定量折中(每章的第一句话都很重要)。这里有几个关键词,统计,概率。也就是它主要是基于概率统计来做决策的。
好接下来要举实例了,书上老是喜欢用鲑鱼还有鲈鱼来举例(我反正分不清这两种鱼),但是把我觉得要贴和实际,举点生动形象的例子,第一章用的鸡鸭还是太俗了,而且两个种类毕竟相差很大,太容易分类。于是我想到了新的例子嗯下面不讲废话开始扯.
好,假设对面走来一个男生,假设他只有两种状态:有女票和没有女票(男票什么的我不知道也不管((´−`) ンー),我们分别用a1,a2来表示,此时我们还不知道这人是否有女票,那么他们有女票和没女票的概率就分别是P(a1),P(a2),这里的概率就是先验概率(比较通俗的说就是一件没发生事情的发生的概率,讲的真拗口。。。),这里先验概率的选取取决于我们学校的男女比例嗯。
P(a1)+P(a2) = 1;这个大家应该都是理解的把
好假如我们已知P(a1)< P(a2),而此时又走来一个男生,那么我们可能就会判断这个人没有女票(对这才符合我们学校实情)。当然误差还是存在的,假如P(a1)远大于P(a2),那么我们的判断往往会是对的,有P(a1)的概率判断对正确,那么P(a2)的概率就会判断错,而这里出现的误差概率就是P(a2)。这种方式显然不是很好,如果P(a1)和P(a2)相差不大呢,我们判断错的概率就上升了,就算迎面走过来一个很帅的人我们也就这样判断了就有点问题了。
所以我们不会就拿这么少的信息来判断,我们可能要加入这个男生的颜值,他的穿着以及他的谈吐来提高我们判断的准确性,也就是分类器性能(这里我还没回去讲分类器真不好意思)。接下来我们就引入颜值,假设颜值真的可以量化,我们直接可以给这个男生的长相打分,记为x。P(x|a1)就是有女票的男生颜值为x的概率。
未完待续。。。(其实举有女票这个例子我是奔溃的。ヽ(´□`。)ノ)
距离上次更新时间有点久了嗯。。。
好了根据P(x|a1)在x轴上的分布我们可以得到关于x的分布函数,用P(*)来表示,假定x是一个连续随机变量,其分布取决于类别状态,表示成p(x|a1)的形式,这就是"类条件概率密度"函数(class-conditional probability density,没错书上原话加上英文名),关于概率密度这块的话简单解释下(因为我自己都忘了),对于离散的变量我们平常都有接触的 比如骰子为1的概率是1/6,这里变量是骰子的值,P(1)就是1/6,对于连续的变量(这里我没想到什么例子),它的概率就是概率密度指定区间内的积分。
已知先验概率(下一个出现的男生有女票的概率),也知道类条件概率密度(有无女票的男生颜值为x的概率密度),然后我们看到一个颜值为x的男生,我们关心的是他到底有没有女票(呸,我才不关心嗯),所以要利用已知条件来求男生是否有女票的概率。
p(wj,x) = P(wj|x)p(x) = p(x|wj)P(wj).
这条是我们根据处于类别wj拥有特征值x的模式的联合概率密度写出的式子,重组一下就得到了下面的 “贝叶斯公式”
P(wj|x) = P(x|wj)P(wj)/p(x)
p(x) =∑p(x|wj) (j =1,2)
用英语来表示
posterisor = likelihood*prior/evidence
通过这条公式,就能把先验概率P(wj)转化为后验概率P(wj|x)也就是在已知条件x下wj发生的概率(在例子中就是在颜值为x的条件下该男生是否有女票的概率),此处的P(x|wj)称为wj关于x的似然函数,当P(x|wj)越大(有女朋友的男生颜值越高),则wj是真的可能性越大(有女票的可能性)。此处的evidence是为了确保后验概率总和为1。
如果这时P(w1|x)>P(w2|x) (颜值为x的人有女票的概率比较大),那么我们就会认为在颜值为x时,这个男生有女票,这个时候判断错的概率即为P(w2|x),也被称为误差概率。