正态分布的条件分布与边缘分布

2021-04-14 本文已影响0人 Boye0212

本文总结多元正态分布的条件分布与边缘分布，证明不难，但都比较繁琐，故不做详细证明，有兴趣可以参考Pattern Recognition and Machine Learningy一书。

1 正态分布的条件分布

对于联合正态分布变量 $x\sim N(\mu,\Sigma)$ ，定义精度矩阵（the precision matrix）为协方差矩阵的逆，即 $\Lambda\equiv \Sigma^{-1}$ ，做分块处理：
$x=\begin{bmatrix} x_a \\ x_b \end{bmatrix}, \mu=\begin{bmatrix} \mu_a \\ \mu_b \end{bmatrix},\Sigma=\begin{bmatrix} \Sigma_{aa} &\Sigma_{ab} \\ \Sigma_{ba}& \Sigma_{bb} \end{bmatrix}, \Lambda=\begin{bmatrix} \Lambda_{aa} &\Lambda_{ab} \\ \Lambda_{ba}& \Lambda_{bb} \end{bmatrix}$

那么，条件分布
$p(x_a|x_b)=N(\mu_{a|b}, \Lambda^{-1})$
其中
$\mu_{a|b}=\mu_a-\Lambda_{aa}^{-1} \Lambda_{ab}(x_b-\mu_b)$

如何证明？证明的关键在于，对于正态分布的密度函数来说，它的指数项都可以写作
$-\dfrac{1}{2}(x-\mu)'\Sigma^{-1}(x-\mu)=-\dfrac{1}{2}x'\Sigma^{-1}x+x'\Sigma^{-1}\mu+C$
其中 $C$ 是常数项。

因此，只需将联合分布的密度函数展开，再将其关于 $x_a$ 的二次项、一次项整理出来，利用其系数即可得到 $\Sigma^{-1}$ 和 $\mu$ 的表达式。

2 正态分布的边缘分布

按与上一节同样的设定， $x_a$ 的边缘分布为
$p(x_a)=N(x_a| \mu_a, \Sigma_{aa})$

如何证明？只需将原来的密度函数对 $x_b$ 积分即可，利用配方，积分并不困难。

或者，取 $A=[I,0]$ ，则有 $Ax=x_a\sim N(A\mu,A\Sigma A')$ ，展开后即可直接得到上面的结果。

上一篇下一篇

猜你喜欢

热点阅读