2.3.7 学⽣t分布

2019-03-02 本文已影响0人 golfgang

先丢个链接：https://www.matongxue.com/madocs/580/

链接中的学生t分布公式：
$f(t) =\frac{\Gamma(\frac{v+1}{2})}{\Gamma(\frac{v}{2})} (\frac{1}{\sqrt{v\pi}})^2[1+\frac{t^2}{v}]^{-\frac{(v+1)}{2}}\\$

书中的t分布
$St(x|\mu, \lambda, v) = \frac{\Gamma(\frac{v}{2}+\frac{1}{2})}{\Gamma(\frac{v}{2})}(\frac{\lambda}{\pi v})^{\frac{1}{2}}[1+\frac{\lambda(x-\mu)^2}{v}]^{-\frac{v+1}{2}}$

以下要从高斯分布推导出学生t分布

已知高斯分布的精度的共轭分布是Gamma分布。假设我们有一个一元高斯分布 $N(x|\mu,\tau^{-1})$ 和一个Gamma分布 $Gam(\tau|a,b)$ ，我们把精度积分出来，可以得到 $x$ 的边缘分布
$p(x|\mu,a,b)=\int^\infty_0N(x|\mu,\tau^{-1})Gam(\tau|a,b)d\tau\\ =\int^\infty_0\frac{b^ae^{(-b\tau)}\tau^{a-1}}{\Gamma(a)}(\frac{\tau}{2\pi})^{\frac{1}{2}}\exp\{-\frac{\tau}{2}(x-\mu)\}d\tau\\=\frac{b^a}{\Gamma(a)}(\frac{1}{2\pi})^\frac{1}{2}[b+\frac{(x-\mu)^2}{2}]^{-a-\frac{1}{2}}\Gamma(a+\frac{1}{2})$
然后令 $v=2a$ ， $\lambda=\frac{a}{b}$ ，新参数下分布 $p(x|\mu,a,b)$ 为
$St(x|\mu, \lambda, v) = \frac{\Gamma(\frac{v}{2}+\frac{1}{2})}{\Gamma(\frac{v}{2})}(\frac{\lambda}{\pi v})^{\frac{1}{2}}[1+\frac{\lambda(x-\mu)^2}{v}]^{-\frac{v+1}{2}}$
参数 $\lambda$ 为t分布的精度（通常不等于方差的倒数），参数 $v$ 为自由度，作用如下图所示，对于 $v= 1$ 的情况，t 分布变为了柯西分布( Cauchy distribution )，而在极限 $v\rightarrow\infty$ 的情况下，t 分布 $St(x|\mu,\lambda,v)$ 变成了高斯分布 $N(x|\mu，\lambda-1)$ ，均值为 $\mu$ ，精度为 $\lambda$ 。

可以看出t分布比高斯分布有更长的尾巴，也就是两边延伸得更开，这给出了t分布的一个重要性质——鲁棒性，更长的尾巴意味着对于离群点能有更好的忍耐度，不会像高斯分布那样敏感。

在实际应用中,离群点可能产生于生成数据的过程,这个过程对应于一个有着长尾的概率分布,也可能产生于
误标记的数据。鲁棒性也是回归问题的一个重要性质。毫不惊讶地说,回归的最小平方的方法并不具有鲁棒性,因为它对应于(条件)高斯分布下的最大似然解。通过让回归模型基于一个长尾的概率分布(例如 t 分布),我们可以得到一个更加鲁棒的模型。

2.3.7 学⽣t分布

猜你喜欢

热点阅读