概率图模型基础(3)——贝叶斯网络的独立性

2019-08-29 本文已影响0人 To_QT

1. 贝叶斯网的基本独立性

学生成绩

在学生成绩示例图中，用边表示其直接依赖关系。

根据上一节概率图模型基础(2)——贝叶斯网络中的因果关系，在节点的独立性方面，可以得出什么结论呢？

局部独立性定义

在学生成绩的例子中：在给定父节点Grade的情况下，Letter与图中其他节点都独立。有 $P(L \perp I,D,S|G)$ 成立。

2. 图与分布

2.1 $d-sep_G(X,Y|Z)$

2.1.1 定义

$d-sep_G(X,Y|Z)$ ：在概率图中，在给定结点 $Z$ 的条件下，结点 $X$ 和结点 $Y$ 存在有效迹（只要是结点连着的，不管方向对不对就称为迹），若结点 $X$ 和结点 $Y$ 相互独立，则可以表示为 $d-sep_G(X,Y|Z)$

示例：
image.png
若G为不观测变量则S与D的关系可表示为：
$d-sep_G(S,D|I)$

具体如何判断 d-分离，请参考《概率图模型基础(2)——贝叶斯网络中的因果关系》文中第 3.2 结：贝叶斯网络中各节点如何相互影响？

扩展：
与d-separate 相对应的独立性的集合用 $I(G)$ 表示：
$I(G)=\left \{ (X \perp Y | Z): d-sep_G(X; Y | Z) \right \}$

2.1.2 寻找所有d-sep

思路：

在寻找之前，确保有：观测变量 $Z$ 的集合；贝叶斯网络图结构。
1.从下到上，从叶子结点到根的遍历图结构，标记 $Z$ 及其后代的所有节点。

使用广度优先遍历，遇到如下情况停止，说明不存在d-sep，否则，说明存在d-sep：
a. 节点在v-结构中间，但在第一步中未被标记。
b. 节点不在v-结构中间，但是在第一步中被标记了。

代码实现

留坑。

2.2 I-maps(independency map)是啥？

I-map：记贝叶斯网络为 $G$ ，概率分布为 $P$ ，若 $G$ 中表现出的独立性的集合是 $P$ 中表现出的独立性的集合的子集。则 $G$ 是 $P$ 的一个I-map。比如

概率图模型-原理与技术.png
对于来说，,未连接，故而,独立。
对于来说，影响，故而,不独立，表现出的独立性为。
对于来说，影响，故而,不独立，表现出的独立性为。

对于左图来说， $P(X,Y)=P(X)P(Y)$ ，所以 $X$ , $Y$ 独立。而 $\varnothing$ 可归为任何分布P的I-map，所以三个图都是P的I-map。
对于右图来说， $P(X,Y) \neq P(X)P(Y)$ ，所以 $X$ , $Y$ 不独立。而 $\varnothing$ 可归为任何分布P的I-map，所以只有 $G_{X\rightarrow Y},G_{Y \rightarrow X}$ 是P的I-map。

3. 参考文献

Coursera——Probabilistic Graphical Models