论文阅读笔记

Web-Scale Bayesian Click-Through

2017-08-11  本文已影响0人  月半半0320

自己说

这个是在facebook中的gbdt+lr这篇文章中提到的bopr模型,据说是微软在做内部比赛的时候提出的模型。

经过这篇文章,我才知道什么是click model,之前做click model局限与在广告预估,现在直到click model主要就是为了给用户建模,有很多相关模型。

摘要

这个模型对参数进行高斯分布假设

介绍

本文作了三大贡献。 首先,它描述了赞助搜索应用场景,CTR预测的关键作用,以及从任务导出的特定约束,包括准确性,校准,可扩展性,动态和探索。 

本文描述了一个基于高斯函数假设的广义线性模型,可分解的参数性的、高斯函数分布,利用信息传递方法提供闭解

其次,它描述了一种用于二进制预测的新贝叶斯在线学习算法,后来被称为adPredictor。 该算法基于具有概率(累积高斯)链接函数的广义线性模型,特征权重的因式分解高斯置信分布,并计算近似后向使用消息传递,提供简单的闭式更新方程,具有自动特征 - 明智的学习率适应。 

第三,我们讨论我们用于使adPredictor在Bing的生产环境中工作的技术,现在每年都会以100%的赞助商搜索流量来展示广告展示。

算法细节

输入是离散变量,做one-hot encoding,label是+-1,输出是点击概率。

这个算法对每个特征的系数w做了贝叶斯假设,假设其符合高斯分布:

并且,该模型认为:

将其表示成概率图模型,就是这样:

其中,包括了两个隐变量s,t,每个隐变量表示对输入的一种变化,首先f指的是w的先验分布,g指的是在当前参数下,w与x的乘积分布;h指的是对当前分布加上高斯噪音之后的分布,然后q指的是通过一个阈值判断当前点击概率分布。

该模型的训练过程如下:

这个过程类似于SGD。可以做到在线学习。

上一篇下一篇

猜你喜欢

热点阅读