线性分类模型(四)——贝叶斯观点下的Logistic回归

本文首发于我的个人博客Suixin's Blog
原文: https://suixinblog.cn/2018/10/linear-classification4.html　　作者: Suixin

拉普拉斯近似

目标：因为待近似的分布不是高斯分布，故寻找一个高斯近似，它的中心位于的众数的位置。
思路：将待近似的分布在众数做泰勒展开，去掉三阶项以及更高阶。

假设待近似分布为维，在众数处展开，有

其中，的Hessian矩阵。两边同取指数，有

分布正比于，因此

其中，这个高斯分布well-define的前提为是正定的，即驻点必须为一个局部极大值。在实际应用拉普拉斯近似时需计算众数，一般通过数值优化算法得到。
缺点： 对于多峰问题会给出较差的结果。
优点： 在数据点较多的情况下，会更有用。

贝叶斯Logistic回归

Logistic回归不能进行精确的贝叶斯推断的原因：后验分布为先验分布与似然函数的乘积的归一化，而似然函数为一系列sigmoid函数的乘积。

对后验分布做拉普拉斯近似

假设参数有高斯先验

其中，和为固定的超参数。的后验分布为

化简可得对数后验为

其中，符号与上一篇文章一致。现在，只需极大化后验概率分布，求出MAP解，再根据前面的拉普拉斯近似结果可得后验分布的高斯近似为

其中，

预测分布

给定一个新的特征向量，类别的预测分布可对后验概率积分得到

具体求解预测分布过程见参考。

参考

“Pattern Recognition and Machine Learning”