【机器学习中的数学】广义逆高斯分布及其特例

2015-01-23 本文已影响689人 JasonDing

引言

广义逆高斯作为一种含义丰富的概率分布，其参数为特定值时又衍生出几种经典有用的分布，现做一整理介绍。

广义逆高斯分布的概率密度函数为：

其中，Kp是a>0且b>0的第二类修正贝塞尔函数(Modified Bessel function of the second kind)。
特别要注意这里，支撑集是x>0，即对于非负随机变量。
其中第二类修正贝塞尔函数满足以下性质:

当上面的广义逆高斯分布的b=0,r>0,a>0时，称为伽玛分布。

记为X~Ga(p,a/2)，这里的p称为形状参数，a/2称为尺度参数。
其实际定义与观念是假设随机变量X为等到第p件事发生所需之等候时间。
伽玛分布满足加成性，当两随机变量服从Gamma分配，互相独立，且单位时间内频率相同时，Gamma分布具有加成性。

当p=1时，Gamma分布变成了指数分布(Exponential Distribution)。

令广义逆高斯分布的参数a=0,r<0,b>0，就称作逆伽玛分布。

这里的τ=-p,记为IG(τ,b/2)。

令广义逆高斯分布的参数p=-1/2，称为逆高斯分布。

从贝叶斯角度进行参数估计，是求最大后验估计的过程。要求先验分布和后验分布是同一种形式但参数不同的分布(即先验分布和后验分布呈共轭关系)，这是一个数学技巧，可以使计算变得简单，而求后验概率最大的积分过程转化成了求后验分布的众数(mode)的过程。

假设随机变量X~Bernoulli(θ),0<θ<1。
因为θ的取值是在(0,1)之间，很自然会想到Beta分布是定义在该区间的，故给θ一个Beta分布作为先验，θ~Beta(α,β)。
后验分布

这也是一个Beta分布。

假设随机变量X~N(0,λ)，这里我们把方差σ^2设为λ，其中λ>0。
（1）我们假设λ满足Gamma分布，λ~Ga(λ|r,α/2)。
这样，其后验

这是一个广义逆高斯分布，当然我们也可以把Gamma分布看做一个广义逆高斯分布，但这做起来比较麻烦
（2）我们假设λ满足逆Gamma分布，λ~Ig(τ,β/2)。
其后验为

这也是一个逆Gamma分布。
这样方便计算。

转载请注明作者Jason Ding及其出处
Github博客主页(http://jasonding1354.github.io/)
CSDN博客(http://blog.csdn.net/jasonding1354)
简书主页(http://www.jianshu.com/users/2bd9b48f6ea8/latest_articles)