论文阅读“MVL: Multi-View Learning fo

2023-01-02 本文已影响0人掉了西红柿皮_Kee

Santosh T, Saha A, Ganguly N. MVL: Multi-view learning for news recommendation[C]//Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. 2020: 1873-1876.

摘要导读

本文提出了一个多视图学习（MVL）框架用于新闻推荐，它同时使用内容视图和用户-新闻交互图视图。在内容视图中，使用一个新闻网络编码器从不同的信息中（如标题，新闻主体和类别）学习新闻表示。从用户浏览的新闻中获得用户的表示。在图视图中，本文利用图神经网络通过建模不同用户和新闻之间的交互来捕获用户-新闻二部图中的（用户-新闻）、（用户-用户）和（新闻-新闻）之间的相关性。此外，本文将注意机制纳入图神经网络，以建模这些交互作用的重要性，以获得更多用户和新闻的有效的信息。在真实数据集上的实验验证了提出框架的有效性。

问题定义

给定用户 $𝑢_𝑥$ 以及他最近浏览的新闻文章和一个等待被推荐的候选新闻项目 $𝑛_𝑥$ ，任务的目标是预测用户浏览该候选新闻的概率。用户 $𝑢$ 和新闻 $𝑛$ 的最终表示是从内容视图和图视图中学习到的表示的连接：如 $u=[u_c, u_g]$ ， $n=[n_c, n_g]$ 。点击概率得分 $y$ 由用户 $𝑢_𝑥$ 的表示向量与候选新闻 $n_x$ 的内积计算得出: $y=u_x^Tn_x$ 。

模型浅析

内容视图 $[n_c, u_c]$

这部分主要分为两个步骤，表示的学习和整合

News Encoder [ $n_c$ ]
新闻编码器用于学习不同类型的信息，如标题、新闻主体和主题类别。因为不同种类的新闻信息有不同的特征，这里不是简单地合并它们来表示新闻，而是通过使用注意机制聚合它们来学习统一的新闻表示。
Title encoder：用于学习标题的表示。将标题表示为序列 $[w_1^t, w_2^t, \cdots, w_n^t]$ ，以及其对应的预训练嵌入表示 $[e_1^t, e_2^t, \cdots, e_n^t]$ 。将其喂入CNN中可以得到标题中第 $i$ 个词所对应的-K到K涵盖的上下文表示如下：其中， $e^t_{(i-K):(i+K)}$ 表示从(i-K)到(i+K)位置的嵌入表示的拼接。然后使用word-level的注意力网络进行各word的权重计算：最终关于标题的表示 $r^t$ 为：
类似的可以同样定义Body and Category Encoder，得到其对应的表示 $r^b$ 和 $r^c$ 。
本文提出了一个新闻级的注意力网络来模拟上述三个不同类别的信息量。（1）首先得到不同信息对应的权重向量 $\alpha_t,\alpha_b,\alpha_c$ ；（2）再分别计算注意力权重：得到最终关于 $n_c$ 的表示：
User Representation
在用户 $𝑢_𝑐$ 浏览新闻的帮助下获得其对应的表示。平时浏览的新闻和候选的新闻分别被编码为 $[n_1, \cdots, n_l]$ 和 $n_x$ 。从而可以计算用户 $u$ 浏览的 $j$ -th新闻的权重：最终用户的表示为：

图视图 $[u_g, n_g]$

在内容视图中，作者试图使用用户浏览的文章隐式地捕获一阶交互。为了直接捕获用户以及新闻之间的第一和二阶交互，提出了一个层次注意图神经网络来学习表示。在图视图中，使用内容视图的表示来对user-news的二部图的embedding进行初始化。然后使用这个图，通过建模图中用户和新闻的一阶和二阶（跳）交互，来挖掘用户-用户和新闻-新闻之间的相关性。
在本模块中， $u_g$ 和 $n_g$ 的学习是一致的，这里以 $u_g$ 为例，来说明 $u_g$ 的表示学习过程。
假设 $u$ 所浏览的新闻为 $[n_1,n_2,\cdots,n_p]$ ，而浏览新闻 $n_i$ 的用户记为 $[u_{i_1}, u_{i_2}, \cdots, u_{i_K}]$ 。本文首先从浏览过此新闻的用户的表示中学习每个新闻的表示。通常，浏览同一新闻的不同用户在代表该新闻时可能有不同的信息量。因此，本文提出使用带有注意力机制的网络来为与同一个新闻相连的不同用户分配不同的权重，注意力权重 $\alpha^d_{ij}$ 表示浏览 $n_i$ 新闻的第 $j$ -th个用户的权重计算如下：

基于用户表示的新闻

n_i

的表示

n_i^u

是与其有关的用户及其对应权重和：

一旦获得每个新闻的表示

n_i^u

，就可以顺利获得基于图的用户表示

u_g

。用户

u

浏览的

n_i

对应的权重

\alpha^d_i

可进行如下计算：

由此，对于用户

u

而言，基于图的用户表示为：

重复上述步骤，同理可得

n_g

。

模型训练目标

本文使用负抽样技术进行模型训练。对于用户浏览的每一个正例样本新闻，随机抽取K篇未被该用户点击的新闻文章作为负例样本。然后，任务的目标是联合预测正例新闻的点击概率得分 $y^+$ 和K个负面新闻的点击概率得分 $[𝑦_1^−，𝑦_2^−，...，𝑦^−_𝐾]$ 。这样，将新闻点击预测问题表述为一个伪K+1类的多分类任务。因此，可计算该正样本的点击概率 $pi$ ：

所有正例样本的负对数似然之和构成了整个框架MVL的损失函数：

S

为正例样本集合的大小。

整个论文的重点在于相互利用user和news的交互信息进行表示学习，如在进行user的嵌入表示时，使用给定user所浏览过的历史新闻信息和待推荐的新闻信息进行综合表示；同理在进行news的嵌入表示时，则会利用基于图的表示挖掘浏览过该news的所有用户并为其分配权重进行对目标news的加权表示。相辅相成。