文章名称

【SIGIR-2021】【Beijing Key Laboratory of Big Data Management and Analysis Methods】Counterfactual Data-Augmented Sequential Recommendation

核心要点

文章旨在利用反事实数据生成的方法，解决Session-Based推荐场景下数据稀疏限制模型性能的问题。作者提出CASR框架，包含3种增广序列生成的sampler model，以及传统的序列推荐模型anchor model用于生成最终的推荐列表。Sampler model是整个框架的关键，其中一种是简单的随机替换模型，另外两种是面向数据和面向模型的序列生成模型。面向数据的模型会生成处在决策边界附近的反事实序列，而面向模型的方法则会以最大化提供给anchor model的信息为目标生成反事实序列。

方法细节

问题引入

基于用户行为序列推荐模型在各种推荐场景都取得了一定的成功，此类模型的本质是学习到两个或者多个物品在用户行为序列中共同出现的联合分布，并以此作为推断依据，为用户推荐下一个物品。因此，高质量的行为序列（训练数据）对基于序列的推荐模型尤为重要。然而，行为序列往往是稀疏的。如下图所示，用户按顺序购买了相机，电池和充电器，这条行为被记录了下来，但存在许多其他（可能的）合理的行为序列并没有被记录下来（只是没有被观测到，但其实是可能发生的）。例如，用户可能按顺序购买相机、支架、交卷和相册等。这些没有被观测到的、有用的行为序列被作者称为反事实行为序列，利用这些行为序列，想要回答的问题是：如果用户行为发生变化，那么他/她会买什么？这是典型的模拟人的推理方式的方法，通过折后在那个模拟可以帮助模型学习更多有用信息，提升性能。

An illustration of framework for CASR

具体做法

首先，形式化序列推荐的问题，

• 用户集合为，物品集合为；
• 对用户的推荐结果为，其反事实推荐结果为，表示修改用户行为后，可以被替换的物品；
• 用户的历史行为集合记作，其中表示用户在时刻交互的物品；
• 序列推荐模型的目标是基于（所有训练数据），准确预测每一个用户的下一个物品（以及用户未来的偏好）；
• 序列推荐模型可以用表示。通常通过优化如下目标，来得到模型参数。在大规模物品集合的场景下，一般采用负采样或sample softmax的方法减少计算复杂度，其中，为负采样的行为序列，若出现在用户历史行为中，则为1，否则为0。
  crossentropy loss

从上图也可以看出，CASR框架分为2个重要部分，

• Sampler model。用于生成反事实序列。
• Anchor model。用于产生出推荐结果。

如上所述，其中核心是sampler model。作者提出了3种sampler model。

Heuristic Sampler

作者提出基于启发的sampler model作为基线，其基本步骤是，

• 随机采样物品，替换用户行为序列中的某个物品，目标物品（这里和分别表示替换的物品和行为序列物品（的标号），稍微有点歧义的是，不是个标号，而是原始序列的标号）；
• 利用sampler model寻找物品使得似然最大，即选择满足如下图所示条件的最优物品。
  Heuristic Sampler Loss

这样的方法显然太简单的，随机采样给了太多的自由度，带来了太多的随机性。并且[6, 7, 29]的研究表示，不同的样本对模型优化而言，应该具有不同的重要性。因此，需要更合理的sampler model。

本节介绍了，文章需要解决的额问题背景，方法框架以及简单的sampler model。下节继续介绍更合理的sampler model以及anchor model。

心得体会

Heuristic Sampler

个人感觉，Heuristic Sampler有点悖论，既然sampler model可以做到最大似然，那么anchor模型和sampler model的本质区别就比较小。并且，作者提到两个模型都是利用原始的dataset进行预训练的，区别就更小了。

文章引用

[1] Tsu-Jui Fu, Xin Eric Wang, Matthew F Peterson, Scott T Grafton, Miguel P Eckstein, and William Yang Wang. 2020. Counterfactual Vision-and-Language Navigation via Adversarial Path Sampler. In European Conference on Computer Vision. Springer, 71–86.

[2] Hongchang Gao and Heng Huang. 2018. Self-paced network embedding. In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 1406–1415.

[29] JunWang,LantaoYu,WeinanZhang,YuGong,YinghuiXu,BenyouWang,Peng Zhang, and Dell Zhang. 2017. Irgan: A minimax game for unifying generative and discriminative information retrieval models. In Proceedings of the 40th In- ternational ACM SIGIR conference on Research and Development in Information Retrieval. 515–524.