Web-Scale Bayesian Click-Through
2017-08-11 本文已影响0人
月半半0320
自己说
这个是在facebook中的gbdt+lr这篇文章中提到的bopr模型,据说是微软在做内部比赛的时候提出的模型。
经过这篇文章,我才知道什么是click model,之前做click model局限与在广告预估,现在直到click model主要就是为了给用户建模,有很多相关模型。
摘要
这个模型对参数进行高斯分布假设
介绍
本文作了三大贡献。 首先,它描述了赞助搜索应用场景,CTR预测的关键作用,以及从任务导出的特定约束,包括准确性,校准,可扩展性,动态和探索。
本文描述了一个基于高斯函数假设的广义线性模型,可分解的参数性的、高斯函数分布,利用信息传递方法提供闭解
其次,它描述了一种用于二进制预测的新贝叶斯在线学习算法,后来被称为adPredictor。 该算法基于具有概率(累积高斯)链接函数的广义线性模型,特征权重的因式分解高斯置信分布,并计算近似后向使用消息传递,提供简单的闭式更新方程,具有自动特征 - 明智的学习率适应。
第三,我们讨论我们用于使adPredictor在Bing的生产环境中工作的技术,现在每年都会以100%的赞助商搜索流量来展示广告展示。
算法细节
输入是离散变量,做one-hot encoding,label是+-1,输出是点击概率。
这个算法对每个特征的系数w做了贝叶斯假设,假设其符合高斯分布:
并且,该模型认为:
将其表示成概率图模型,就是这样:
其中,包括了两个隐变量s,t,每个隐变量表示对输入的一种变化,首先f指的是w的先验分布,g指的是在当前参数下,w与x的乘积分布;h指的是对当前分布加上高斯噪音之后的分布,然后q指的是通过一个阈值判断当前点击概率分布。
该模型的训练过程如下:
这个过程类似于SGD。可以做到在线学习。