新闻推荐(6)：User Modeling with Click

2020-09-11 本文已影响0人阿瑟_TJRS

前言

发表在IJCAI2020上的一篇关于新闻推荐的论文
仍然是来自于微软亚研的工作，该团队新闻推荐相关工作详见如下博客链接：https://www.jianshu.com/p/98571afbd36d
https://www.jianshu.com/p/ee9beaa9efee
https://www.jianshu.com/p/c490598259c8
https://www.jianshu.com/p/2d7e261bc277
本文为自己的论文阅读笔记，如有错误/问题欢迎评论区指正，转载请注明链接及作者(QQ: 761322725)

摘要

用户兴趣建模对于准确的新闻推荐至关重要。现有的新闻推荐方法通常从新闻的点击行为来推断用户的兴趣。

然而，用户可能会因为被新闻标题所吸引而点击一篇新闻文章，但是在阅读后可能对其内容不满意。

在许多情况下，用户在点击新闻页面后会迅速关闭页面。本文提出从新闻标题的点击行为和新闻内容的阅读行为两个方面建立用户兴趣模型。

这个背景问题与前天分析的一篇HyperNews很相似，那个引入了用户阅读新闻的时长这一数据特征，来反映用户对新闻真实喜好情况https://www.jianshu.com/p/c6add0893e8f

更具体地说，文章提出个性化的阅读速度指标来衡量用户对新闻内容的满意度。从用户阅读的新闻内容以及他们对这些新闻的满意程度，来学习嵌入，进行用户对新闻内容的兴趣建模。此外，我们从点击的新闻标题学习另一个用户嵌入，建模对新闻标题的偏好。

将这两种用户嵌入组合成一个统一的用户表示，用于新闻推荐。我们使用基于用户行为的新闻标题点击预测和基于新闻内容的满意度预测两个监任务来训练用户表征模型，使得模型能够推荐不仅可能被点击，而且也具有用户满意的内容的新闻。

引言

用户通常根据新闻标题来做出点击决定。然而，由于新闻标题通常很短，而且它们浓缩的信息非常有限，甚至很嘈杂(例如，标题党/clickbaits) ，基于新闻标题的点击行为可能不一定能表明用户的兴趣。在许多情况下，用户不满意点击新闻的内容，并迅速关闭新闻页面。

例如，上图所示，大多数用户在不到20秒的时间内关闭该新闻页面，这意味着该新闻的内容对于许多点击它的用户来说并不具有吸引力。因此，根据用户的新闻点击行为来建立用户兴趣模型可能不够准确。

这样的分析简洁易懂，也是MASR的论文的优点

除了点击行为外，用户还具有新闻阅读行为，是提供用户对新闻内容是否满意的重要信息。整合阅读行为的一个自然的方法是使用用户花在阅读新闻内容上的时间，即停留时间(dwell time )。

在新闻页面上停留时间长通常意味着对新闻内容的兴趣和满意度高于短停留时间。然而，新闻文章通常在内容长度上有很大的差异，较长的文章通常需要更多的时间来阅读。因此，绝对停留时间可能不是建模阅读满意度的最佳时机。停留时间的直接改进是兼顾停留时间和新闻内容长度的阅读速度。

阅读速度也是比较容易理解的 然而，如上图所示，不同的用户在阅读新闻时可能有不同的习惯，他们的平均阅读速度有很大的差异。因此，对于满意度建模而言，阅读速度也可能不是最佳的。

本文提出了一种新闻推荐的用户建模方法，从新闻点击行为和新闻阅读行为两方面对用户的兴趣进行建模。

首先，提出了一个个性化的阅读速度度量标准来衡量用户对新闻内容的阅读满意度，该度量标准是基于用户的阅读停留时间、新闻内容长度和平均历史新闻阅读速度来计算的。
利用内容满意度注意力模型来从用户历史阅读的新闻内容中学习用户嵌入，在新闻内容的兴趣建模中考虑用满意度。
利用用户点击的新闻标题学习另一个用户嵌入，来建模其在新闻标题中的点击偏好。
我们通过一个行为注意力网络将这两种用户嵌入合成为一个统一的新闻推荐表示。
通过两个监督任务来训练模型，即基于新闻标题的点击预测和基于新闻内容的满意度预测 。

简言之，同时考虑用户受标题影响的点击行为，同时考虑用户对新闻内容的满意情况，两个任务联合训练

模型介绍

总体框架如下图所示：

满意度建模

新闻内容的长度可能会影响新闻阅读的停留时间，直接利用停留时间进行满意度建模是不准确的。因此，用阅读速度来结合驻留时间和内容长度的信息可能更为合适。

新闻阅读的停留时间 $t_i$ ，内容长度表示 $n_i$ 。然后计算这条新闻的阅读速度$ v_i = n_i /t_i。然而，阅读速度仍然不足以准确地模拟满意度，因为用户由于不同的阅读习惯，在阅读速度上存在差异。因此，我们建议通过个性化阅读速度来衡量用户的满意度，使用阅读速度与该用户的平均历史阅读速度的比率。

害，这不就是比例么

用户建模

1. 内容满意度注意力模块

取用户近期看过的新闻内容，由于新闻主题、新闻内容质量等特点，不同新闻内容在提取用户兴趣方面的信息性是不同的。因此，我们利用内容注意力，以选择性的方式从以前阅读的新闻内容中学习用户表征。将新闻内容的表示向量表示为

为了将用户满意度引入到用户兴趣建模中，我们提出利用满意度关注度来帮助用户识别满意的新闻内容。为了计算新闻内容的满意度注意力，我们首先将其实值个性化阅读速度

个人理解：就是把速度值变成整数，可以用来构建嵌入索引，每个速度区域可以对应一个嵌入向量

然后，我们使用 $\hat{v}_i$ 的嵌入通过一个线性映射来生成注意力查询向量 $\mathbf{q}_i$ 。最后，基于满意度的注意力权重计算如下:

最后结合满意度和新闻内容的用户表示为：

2. 标题注意力模块

与前面的操作相似，都是通过注意力机制做信息的提取与聚合：

3. 行为注意力模块

通常点击和阅读行为在表达用户偏好方面有不同的重要性。例如，如果一个用户浏览大多数新闻非常快，但仔细阅读了一些新闻文章，这个用户的阅读行为可能比点击行为更重要。因此，使用一个行为注意网络，形成统一的用户。

常规操作，名字起的倒挺好的

文本编码

用来基本的新闻标题/内容编码。与Transformer 的结构很相似，考虑位置编码，经过多头自注意力模块，最后再通过一个整合注意力，得到一句话/文本的嵌入表示。文章内容应该很长，处理超长的文本，这样的结构其实不太适用呀；应该是实验中做了文本截取

点击与满意度预测

点击概率和满意度都是就是一个点积的计算

最后的Loss就是两个任务的相加，点击率就是一个N+1路的LogLoss，满意度预测就是一个回归任务，定义成绝对值误差：

实验情况

整体效果对比如下：

此外论文还进行多组对比实验，分析了满意度模型和不同注意力模型的作用

此外，论文可视化来自随机选择的用户的历史点击新闻的满意度关注度权重和内容关注度权重，包括满意度建模和不满意度建模。结果下图所示。从可视化结果中，我们发现内容注意缺乏满意度信号可能是不准确的。例如，第五条新闻被赋予了很高的注意力权重，但是用户在关闭它之前阅读这条新闻的内容非常快，这可能是一个失望的迹象。因此，仅仅根据新闻点击量来建立用户兴趣模型是不够的。在考虑用户满意度的基础上，满意度注意机制可以选择用户更仔细阅读的新闻，内容注意机制也可以更关注用户满意的新闻。研究结果表明，建立阅读满意度模型有利于更准确地建立用户兴趣模型，并且可以有效地提高用户的阅读满意度

总结

这篇工作最大的创新点在于引入满意度这一概念，并利用阅读速度来实现满意度建模，并把其编码到用户兴趣建模中。通过满意度预测和点击率预测两个任务来训练推荐模型，尽管满意度并非新概念，但这篇工作总体上将这个点分析和利用的比较透彻。与前文提到的HyperNewshttps://www.jianshu.com/p/c6add0893e8f从结构上有很大的相似之处，但这篇工作考虑地更加全面，直接考虑到阅读速度等与用户对新闻内容的满意度情况。当然这点还是比较依赖数据，数据集里面要有停留时长/阅读时长这个属性才能建模。。。

END

如果觉得有用，欢迎点赞关注赞赏，若对推荐感兴趣欢迎评论区/私信交流~~~