大师兄的贝叶斯网络学习笔记（二）：贝叶斯网络基础（二）

大师兄的贝叶斯网络学习笔记（一）：贝叶斯网络基础（一）
大师兄的贝叶斯网络学习笔记（三）：贝叶斯网络基础（三）

一、概率论基础

2. 概率的解释

• 概率的解释主要有5种：古典解释、频率解释、主观解释、特性解释以及逻辑解释。

2.1 古典解释

• 概率的古典解释起源于16世纪数学家们对掷骰子等赌博活动的研究。
• 对一例质地均匀的正方体骰子，投掷后其任何一面朝上的可能性相等，因此投出每面的概率都应为1/6。
• 一般来讲，如果时间A包含的样本数为m，二样本空间的总样本数为n，则时间A的概率应为：
• 用这种方法定义的概率成为古典概率。
• 古典概率的一个前提条件就是等可能性。
• 在实际应用中，这个前提条件一般很难满足，因此古典概率的应用范围很有限。

2.2 频率解释

• 给定一个之地不均匀的投资，掷出6的概率为多大？古典概率解释无法处理这种情况，因为这时等可能性前提不成立。
• 为近似这一概率，人们通常进行多次重复试验，记下其中掷出6的次数，除之以总的试验次数，将结果作为掷出6的概率。
• 一般来讲，对于一个可在同样条件下重复进行的试验，如果时间A所在所有N次实验中共发生M次，则它的概率可以用其发生的频率来近似：。
• 这个近似的理论支持是大数定律：当N趋于无穷大时，频率几乎处处趋于概率。
• 即当N较大时，频率经常稳定地出现在概率附近，而当N越大时，月是更经常地稳定与概率，而且幅度也越小。（概率的频率解释）
• 按照频率解释，概率只有当试验可以在同等条件下无限次重复时才有意义。然后，实际中往往需要研究一些不可重复的事件发生的概率。

2.3 主观解释

• 主观解释又称贝叶斯解释，它认为概率即合理信度，反映的是个体的知识状态和主观信念。

2.3.1 主观概率的评估

• 相对与频率解释，主观解释的长处是它允许对一次性事件也进行概率评估。
• 主观解释可以根据各种经验知识给出一个主观概率的评估。
• 作为一种操作性强的手段，用概率论进行主观概率评估在管理科学、心理学以及运筹学中被广泛应用。
• 虽然用概率论进行主观概率评估存在评估精度的问题，但在贝叶斯网络的应用中，这往往不是大问题：

• 首先，概率值的微小差别对决策的影响一般不大;
• 其次，实际中往往会同时考虑多个事件的概率，由于概率必须满足Kolmogorov公理，因此不同事件的概率之间存在一定的关系，而这些关系限制了主观概率的任意性；
• 在数据分析中，当数据量足够大时，主观概率的影响不大。

2.3.2 主观概率与Kolmogorov公理

• 为什么主观概率必须满足Kolmogorov公理？围绕这个问题，人们提出了几种理论和论证方法，其一与赌博有关，它的基本思想是：如果一个人的主观概率不满足Kolmogorov公理，那么就可以构造一个赌局，使他认为合理而接受，但又必输无疑，这样的赌局称为Dutch book。对于理性个体，不应有Dutch book存在，因此理性个体的主观概率必须满足Kolmogorov公理。
• 如果一个人对某事件S出现的主观概率为P，，则他最多愿意付款P元去购买一个关于S的单位筹码，即如果S为真则可拿它兑换1元赔金的筹码。同时，他也愿意以P元或更高的价格卖掉一个单位筹码。

2.3.3 主观概率与贝叶斯网络

• 贝叶斯网络早期主要应用与专家系统，在专家系统应用中，贝叶斯网的结构和参数是通过咨询专家而获得的。，因此需要用类似于概率论的方法进行概率评估，主观概率占有重要地位。
• 随着时间的推移，贝叶斯王越来越多地被用于分析数据，也就是基于数据建立贝叶斯网络。有两种情形：

• 已知网络结构，对网络参数进行估计，称为参数学习。
• 不知道网络结构，要通过分析数据，同时获得网络结构和网络参数，称为结构学习。

• 参数学习有两种方法，最大似然估计和贝叶斯估计：

• 最大似然估计完全基于数据，不需要先验概率。
• 贝叶斯估计则家丁在考虑数据以前，网络参数服从某个先验分布。这是鲜艳的主观概率，它的影响随着数据量的增大而减小。

• 结构学习情形假设在考虑数据以前，不同结构的可能性相等，这也是先验的主观概率，它的影响也随着数据量的增大而减小。
• 所以，当有足够多的数据时，主观概率对数据分析的影响不大。
• 尽管概率的主观解释在贝叶斯网络的实际应用中并不扮演非常重要的角色，但是在概念上，它对贝叶斯网络却是至关重要的。
• 贝叶斯网络所依赖的一个核心概念是条件独立，而概率的主观解释为直观理解条件概率和条件独立提供了一个自然的角度。

2.4 特性解释与逻辑解释

• 在特性解释中，均匀硬币“正面朝上”的概率为1/2是这个硬币的固有物理属性，与其是否投掷或投掷次数无关。
• 特性解释没有为概率提供可操作的运算方法，因此很难应用于实际之中。
• 逻辑解释则认为概率是对只是状态的总结，是由从证据到假设的逻辑关系所决定的。
• 一旦相关的知识得到确定，则事件的可能性就已经被客观地确定下来，并应该能够通过逻辑分析来得到。
• 古典解释可以看作是逻辑解释的一个特例，它从等可能性的前提条件出发来计算概率。
• 同特性解释一样，逻辑解释的缺点在于它没能为概率提供一个可操作的运算方法。