Neural Graph Collaborative Filte

2019-12-15 本文已影响0人 FlOWING_b425

Wang X, He X, Wang M, et al. Neural Graph Collaborative Filtering[J]. arXiv preprint arXiv:1905.08108, 2019.

1 介绍

协同过滤(CF)有两个关键的点:

一个是如何表示用户和物品(embeding)，embeding的表示在各种方法里都不相同，可以直接使用用户/物品ID表示embeding，也可以利用各种特征，经过神经网络MLP，获得embeding表示。
另一个是如何表示两者的交互(interaction)，在MF中，直接使用用户与物品vector的点积表示交互（即一个鼠标点击广告的动作，或者购买该物品的历史）。

但是多数模型都没有通过利用user-item的交互来训练得到embeding，只使用了用户属性等基本描述性的特征。

如果要利用交互来获得embeding，存在的问题在于若使用user-item矩阵的形式表示交互，这样矩阵规模就非常的大，常常达到几百万量级，而且非常稀疏。

为了解决这个问题，论文中将交互转换为graph的形式，集中注意力在有过交互的物品上，例子如下图：

image.png

图中的用户u1是推荐的目标用户。右边的图看成是以 $u_1$ 为根结点形成的一个树，这样对于 $u_1$ 的预测，就由原来的 $i_1, i_2, i_3$ (first order)拓展到 $i_4, i_5$ (third order)这样的high order范围。

论文的主要贡献是提出了一种embeding propagation的方式，能够利用high order范围内的实体，训练得到用户和物品的embeding。

2 Model结构

NGCF一共包括三层，

Embeding layer：表示user-item的look-up table

$E=[\underbrace{e_{u_1}, e_{u_2}, \dots}_{N\ users},\underbrace{e_{i_1}, e_{i_1}}_{M\ items} ]^T$

Embedding Propagation Layers: 利用embeding进行多层的propagation
Prediction layer：预测 $<u, i>$ 的概率

整个网络的结构如图：

image.png

2.1 Embedding layer

这一层与主流的推荐模型的embeding layer一样，对于N个用户u，M个物品i，使用d维的向量来表示，形成下面的矩阵( $(N+M)\times d$ )：
$E = [e_{u_1}, \dots, e_{u_N},e_{i_1}, \dots, e_{u_M},]^T, e_u, e_i\ \in R^d$
在实现中首次训练使用xavier initializer初始化。

2.2 Embedding Propagation Layers

2.2.1 First-order Propagation

2.2.1.1 Message Construction

对于一个用户u，我们首先可以直接使用那些与用户有直接交互的物品计算用户的embeding，表示为
$m_{u\leftarrow i} = f(e_i, e_u, p_{ui})$
$m_{u\leftarrow i}$ 称为物品i对于用户u的message embeding， $f$ 称为message encoding function， $p_{ui}$ 是系数，控制 $<u, i>$ 这条path的权重。

具体的， $m_{u\leftarrow i}$ 表现为：
$m_{u\leftarrow i} = \frac{1}{\sqrt{|N_{u}||N_{i}|}} \big( W_1 e_i + W_2 (e_i\odot e_u)\big),\ \ W_1, W_2 \in R^{d^{'}\times d}$
$\odot$ 表示element wise乘法， $N_{u},\ N_{i}$ 分别表示与用户u和物品i直接有交互的物品或者用户数量。

$\frac{1}{\sqrt{|N_{u}||N_{i}|}}$ 就是 $p_{ui}$ ，被称作graph Laplacian norm，它表示物品传递给用户的message的weight，可以这样理解，如果某个物品的 $N_i$ 越小，表示这个物品越”独特“，越能够体现用户的个性偏好， $p_{ui}$ 增大；用户的 $N_u$ 越小表示该用户的兴趣越”集中“，那么他的历史数据中的每个物品的 $p_{ui}$ 都应该增大，表示每个物品都能够较大的反映该用户偏好。

2.2.1.2 Message Aggregation

对于一个用户u的多个物品i，得到了多个传递过来的message embeding，需要使用一种聚合起来形成最终的用户embeding的方式，
$e_u^{(1)} = LeakRelu\big( m_{u\leftarrow u} + \sum_{i \in N_u} m_{u\leftarrow i} \big),\\ m_{u\leftarrow u}=W_1 e_u$
$e_u^{(1)}$ 是用户u经过第一次embeding propagation之后的embeding，可以看到最终聚合的方式是直接对所有的message embeding相加，最后联合原来的表示 $e_u$ ，经过一个leak-relu就得到了最后的表示。

上面过程以单个用户u为例，介绍了一次embeding propagation的过程。这个过程对于物品i也是一样的。

单个用户进行一次propagation，与用户u直接相连的所有物品的”信息“传递到了用户u上。但这个过程是同时在所有的用户u和物品i都进行的。一次propagation，让每个用户和物品都得到了从与它们直接相连的实体的信息。如果在进行一次propagation，用户和物品目前包含了自己下层直连的信息，就又会传递给上级。也就实现了获取high order连接信息的目的。

2.2.2 High-order Propagation

在first order propagation的基础上，得到多次propagation的表示，
$\begin{cases} e_u^{(l)} = LeakRelu\big( m_{u\leftarrow u}^{l} + \sum_{i \in N_u} m_{u\leftarrow i}^{l} \big),\\ m_{u\leftarrow u}^{l}=W_1^{l} e_u^{(l-1)},\\ m_{u\leftarrow i}^{l} = \frac{1}{\sqrt{|N_{u}||N_{i}|}} \big( W_1^{l} e_i^{(l-1)} + W_2^{l} (e_i^{(l-1)} \odot e_u^{(l-1)}) \big) \end{cases}$

2.2.3 Propagation Rule in Matrix Form

之前的例子作用于所有的用户和物品，就得到了矩阵形式的表达，
$E^{(l)} = LeakRelu \big( (L+I)E^{(l-1)} W_1^{l} + LE^{(l-1)} \odot E^{(l-1)} W_2^{l}\big)$
其中 $L \in R^{(N+M)\times(N+M)}$ ， $L_{ui}=\frac{1}{\sqrt{|N_{u}||N_{i}|}}$ 。

2.3 Model Prediction Layer

经过l次propagation，一个用户u，得到 $\{e_u^{1}, \dots ,e_u^{l}\}$ ，在本论文里，直接将l个d维的embeding concat到一起。
$e^*_u =e_u^{0}|| \dots ||e_u^{l},\qquad e^*_i =e_i^{0}|| \dots ||e_i^{l}$
那么最后对于用户u，物品i的得分通过求内积得到，
$\hat{y}_{NGCF}(u,i) = (e^*_u)^T e^*_i$

2.4 Optimization

损失函数为BPR(Bayesian Personalized Ranking) loss，
$Loss = \sum_{(u, i, j)\in O}-ln\sigma(\hat{y}_{ui}-\hat{y}_{uj}) + \lambda {\lVert \theta \rVert}_2^2 \\ O = \{ (u, i, j)|(u, i)\in R^+,\ (u, j)\in R^- \}$
使用Adam，early stoping。

为了防止过拟合，类似dropout方法，使用了两种dropout：

Message dropout：以一定的概率 $p_1^{l}$ ，在进行第l次embeding propagation时，丢弃一些用户或物品message embeding 。message dropou作用于 $E^{(l)}$ 。
Node dropout：以一定的概率 $p_2^{l}$ ，在进行第l次embeding propagation之前，丢弃上次产生的一些用户或物品的embeding 。实际是都使用了0.1概率。node dropout作用于 $L$ .