LDA模型分析（一）：数学基础

2018-09-12 本文已影响159人林桉

一个函数：

二项分布、多项分布、beta分布、Dirichlet分布
image.png
伯努利分布，n重伯努利试验得到二项分布
二项分布，增加试验结果，推广到多维度，得到多项分布
Gamma变形导出Beta分布
Beta分布是二项分布的共轭先验分布
Dirichlet分布是Beta分布在高维度上的推广
最后得到Dirirchlet-Multinomial结构
二项分布
二项分布是从伯努利分布推进的。伯努利分布，又称两点分布或0-1分布，是一个离散型的随机分布，其中的随机变量只有两类取值，非正即负{+，-}。而二项分布即重复n次的伯努利试验。

image.png
多项分布
多项分布是指单次试验中的随机变量的取值不再是0-1的，而是有多种离散值可能（1,2,3...,k）。比如投掷6个面的骰子实验，N次实验结果服从K=6的多项分布。其中

image.png

多项分布的概率密度函数为：

image.png
Beta分布
给定参数 𝛼和 𝛽 ，取值范围为[0,1]的随机变量 x 的概率密度函数

image.png

其中

image.png
Dirichlet分布
Beta分布在高维度上的推广
Dirichlet分布密度函数：

image.png

其中

image.png
Dirichlet分布 VS Beta分布：
对于Beta分布而言，服从该分布的随机变量，期望可以用

image.png

来估计。类似的，若

image.png
image.png

频率派
把需要推断的参数θ看做是固定的未知常数，即概率 θ虽然是未知的，但最起码是确定的一个值，同时，样本X是随机的，所以频率派重点研究样本空间，大部分的概率计算都是针对样本X 的分布；
贝叶斯派
而贝叶斯派的观点则截然相反，他们认为待估计的参数θ是随机变量，服从一定的分布，而样本X是固定的，由于样本是固定的，所以他们重点研究的是参数θ的分布。

贝叶斯框架

image.png
共轭先验分布：
在贝叶斯概率理论中，如果后验概率P(θ|x)和先验概率p(θ)满足同样的分布律，那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布。
Beta-Binomial 共轭：

image.png

其中（m1,m2）对应的是二项分布 B(m1+m2,p)的计数。针对于这种观测到的数据符合二项分布，参数的先验分布和后验分布都是Beta分布的情况，就是Beta-Binomial 共轭。
Dirichlet-Multinomial 共轭：

image.png

针对于这种观测到的数据符合多项分布，参数的先验分布和后验分布都是Dirichlet 分布的情况，就是Dirichlet-Multinomial 共轭。意味着，如果我们为多项分布的参数p选取的先验分布是Dirichlet分布，那么以p为参数的多项分布用贝叶斯估计得到的后验分布仍然服从Dirichlet分布。