Variational inference小结（自用版）

Screenshot 2023-01-31 at 11.19.52.png

• 推断是数学领域一个非常重要的概念。简单来说, Inference指的是根据已经有的有限的知识，去推测未知的知识。而使用贝叶斯概率论的方法进行推断，就被成为Bayesian Inference贝叶斯推断。
• 贝叶斯推断主要包括两种：Estimation-based和Sampling-based。共同的目标都是为了能够求出后验概率分布。
• Sampling-based method顾名思义，就是利用采样的方法来求后验概率分布。
  • Monte Carlo方法是用模拟采样代替计算。经典的例子是求正方形中的圆形的面积，我就不赘述了。这种方法可以用在离散的情况，只需要均匀采样然后去计算它统计量的情况就行了。连续的情况就是借助概率分布函数，找到概率分布函数对应的统计量。
  • MCMC其实可以看做是Monte Carlo的升级版。MC是随机的给然后去统计情况，忽略了采样出来的样本之间的联系。就想挖矿一样，这里挖出来金子，那就在这旁边接着挖呀。所以MCMC增加了一个markov chain的依赖，就是下一次采样的地方是和这一次有关系的。我们首先定义一个初始的然后，根据 去采样下一次的，然后通过一个和后验概率相关的accept/reject标准，决定是不是接受这个，接收就更新到这个并且把它加入到肯德基豪华午餐。
    • 注意，我们要接受一件事，就是markov chain一直乘下去一定可以收敛到某一个状态不动了。而且我们这种accept/reject的方式收敛到的状态恰好是我们想要的后验概率。
    • MCMC启动阶段采样出来的样本是不能用的。
    • MCMC是个父类，有很多实现包括metroplis-hastings, gibbs, rejection sampling
• Estimation-based method就是通过建模一个函数，去估计出后验概率，利用数据去优化这个函数的参数，从而越来越接近真实分布，有点机器学习的意思了。
  • Variational inference. VI其实就是直接对后验概率建模，构造一个函数。然后通过计算这两个分布之间的KL散度作为优化目标，通过不断地优化这个目标可以缩小估计误差最终得到一个合理的后验分布，有了后验分布我们也能去采样得到新的
  • VAE其实和VI关系没那么大，但是也是构造了一个q去估计 ，但是呢，这里降维了。另外呢，还建模了一个decoder ，把这个隐变量再还原成。注意这里的两个建模都是用的神经网络，并且因为多了一个decoder，这个模型更多的是用来做一些生成，所以是generative models.