协同过滤(4):论文速读 Collaborative List-

2020-09-19 本文已影响0人阿瑟_TJRS

前言

发表在期刊TKDE 2020上的一篇关于通用CF推荐的论文
本篇笔记为本人原创，如需转载引用，请务必在文中附上原链接及相应说明，包括作者信息（阿瑟）
码字不易，好心人随手点个赞
本篇笔记非标准译文，其中包含了笔者自己对问题的部分理解，仅供参考，欢迎学习交流
文中涉及到的推荐评估指标，可以参见https://zhuanlan.zhihu.com/p/38875570
https://zhuanlan.zhihu.com/p/73335362

摘要

近年来，基于隐式反馈的协同过滤是重要的研究内容，现有的主流逐对方法(Pairwise)优化AUC，经验证明，AUC有助于利用二元关联数据，但不能解决排序问题，并没有真正关注 top-k 推荐。

虽然存在最大化MRR(平均倒数排序)的List-wise方法，但它效率低下，不能特别适用于一般的隐式反馈情况为此，本文提出了一个新的框架，即协同列表和成对过滤(CLAPF) ，旨在将Pair-wise思维引入到List-wise方法中。具体来说，我们平滑另一个排序指标MAP(Mean Average Precision) ，并使用Pair-wise的方法结合两个度量指标(MAP，MRR)来提升top-k 推荐的性能。此外，为了加快收敛速度，还讨论了 CLAPF 的采样方案。它提供了一种在隐式反馈上成对地利用秩偏测度的思想。

引言

隐式反馈数据通常存在缺乏负反馈的挑战，特别是在数据稀少的情况下。大量的负例和缺失的正例混合在一起，无法区分，这使得许多现有的分类算法不能直接应用于该问题。一般来说，以前处理隐式反馈的方法可以分为两组 (1)逐点回归方法(pointwise regression methods)，(2)逐对排序方法(pairwise ranking)。

pointwise:将隐式反馈作为绝对偏好得分，通过最小化平方损失来逼近绝对评分.
pairwise 通过优化(Area Under the Curve，AUC)来训练推荐模型，这种方法基于相关物品样本和不相关物品样本之间的成对比较。(AUC可以理解为考察模型的分类问题，看正样本的分值有多大概率大于负样本的分值，与Pairwise本质相同)
例如，Bayesian Personalized Ranking (BPR)是
采用这种成对偏好假设的最流行的方法之一。给定观察到的用户-项交互(u; i)和未观察到的用户-项交互(u; j) ，BPR 假设用户 u 对项目 i 的偏好高于物品j。

研究表明，成对方法明显优于Point-wise方法，是解决隐式反馈问题的首选方法。

然而，由这些成对方法优化的 AUC 指标并不能很好地反映推荐列表的质量，因为它不是一个有排名偏差的度量。这意味着大多数Pairwise方法可能在 top-k 推荐方面表现不佳。虽然已经有一些工作通过直接优化排序的方法将成对排名一般化为列表排序，但是很难对列表间的损失建模，而且效率很低：例如，CLiMF[Recsys 2012]最大化MRR 。此外，研究表明，这种列表方法通常可以显著提高基于多分类数据集的性能，就像显式数据一样，但是对于二分类数据集（隐式数据）的建模能力不够。

模型方法 Collaborative List-And-Pairwise Filtering

具体来说，我们首先平滑的MAP作为一个低限版本，使它可以在可比的时间内优化成对的方法。MAP 是一个列表式的评估指标，通常为用户提供更有价值的Top推荐。然后，我们分别将平滑 MAP 和上述 MRR 与成对目标函数相结合，使这些列表方法更有效地应用于隐式反馈的 top-k 推荐。

MAP

AP定义如下：

可以简化成下面的公式表示形式：

即计算所有正例所在位置的精度情况。跟上面情况相似，用预测值做一个平滑改造：

这个地方为什么可以用sigmoid函数代替呢？：

那么相关性越高/预测分值越高，排名就会越靠前，影响排序倒数就会越大，因此替换是比较合理的。
下面就是对AP进行进一步的化简，文中提到基于琴生不等式和sigmoid函数凹性来取优化，好像并没有直接用到

CLAPF公式

第一项可以表示成为下面的形式，这个地方是不是用约等号比较合适？

LMAP 仅依赖于观察到的物品，忽略探索未观察到的物品间的相互作用。在隐性反馈情况下，用户通常只看到较少的项目，而大多数项目是未观察到的项目，因此这种目标函数在一定程度上造成了不足。，我们可以将未观测到的项目注入到目标函数 LMAP 中，假设已观察项目 i 的位置应高于未观察物品的位置。利用这种技巧，我们可以在模型中引入成对排序，并进一步利用未观测项目中隐藏的更丰富的交互，期望进一步提高推荐性能。

期刊文章的精髓：重复描述拉扯篇幅，给我看🤮了

优化损失函数第二项意味着最大化用户喜欢正例 k 而不是其他正例 i 的独立概率; 优化第一项可以扩展到最大化用户喜欢正例i 而不是未观察的j 的独立概率,即下面的形式

面对多个排序对的排序问题，受 MPR 框架的启发，我们可以通过最大化两个排序对的联合分布概率来最大化这两个目标。然后，我们有一个新的标准称为 CLAPF-MAP：

其中可以把概率形式表示成下面的差值形式

其中的待训练的参数就是矩阵分解的两个目标矩阵

其中的R()就是L2正则项：

下面给出MRR的优化形式：按照上面的替换形式，只是在第二项的位置有点稍微不同，变成这样的形式 $Pr(R_{ui}<R_{uk},R_{ui}<R_{uj})$ 与MAP对比，只是提供一种新的排序。

可以理解为MAP的形式一方面考虑了正例与负例的差异，同时考虑了正例间的差异，标准位于正例和负例中间，做了一个综合；而MRR的形式标准在排序的最左侧；一句话理解就是：两类样本，三个样本可以有两种排序方式

前面MRR和MAP公式对比分析的那段话应该拿到这儿来说明，单靠公式根本没有区别呀！！！！！！

CLAPF优化

最后的推荐评分基于下式得到:

通过SGD对两个损失函数进行优化

CLAPF 的总时间复杂度为 O (Tnd) ，其中 T是迭代次数，n是用户数。同时，预测物品上用户偏好的时间复杂度为 O(d) ，与 BPR 相同。因此， CLAPF 和开创性的方法 BPR 的计算复杂度在效率方面是可比的，这比现有的列表方法快得多。

CLAPF 采样

与Pair-wise方法相比，CLAPF 对两个观察物品(正例)进行了比较，这对 top-k 推荐中的排序问题有很大的贡献;
与List-wise方法相比，CLAPF 能够深入挖掘被观察项和未观察项之间的联系，从而挖掘出用户和未观察项之间隐藏的丰富交互。在这一部分中，介绍CLAPF 目标函数下的抽样问题

抽样策略在从数据中学习中起着重要作用。在采样器中，动态负采样(DNS)[25]和 (AoBPR)已经成为最流行的两种方法，它们动态地从当前预测模型产生的排序列表中挑选负例，并反复更新包含所有未观测物品的列表。

然而，这些负采样策略是针对Pairwise中两两比较的梯度消失问题而设计的。需要设计适合CLAPF的新采样策略，需要包含所有观察项和未观察项的采样策略。

模型梯度计算如下：