[AAAI 2018] ATRank An Attention-Based User Behavior Modeling Framework for recommendation

• 阿里的文章，用户行为建模
• 按行为类别分为很多类，每个类里面的行为有不同维度的Embedding，行为是无序的，但是Embedding里面有时间信息
• 然后把每个行为Embedding映射到一个相同维度的语义空间，再接上self Attention层处理序列，再用候选行为对序列做Attention得到最后的表示

• 最后用DNN得出该候选行为的得分，用ranking loss优化

  
  整体框架图

[IJCAI 2018] Sequential Recommender System based on Hierarchical Attention Network

• 序列推荐，用两层Attention结构
• 把历史序列按时间段分为多个不相交的段，最近一段的item当做短期兴趣，其他的为长期兴趣
• 第一层Attention对长期的item做Attention，得到长期的表示，把这个表示并到短期item一起

• 第二层Attention对短期item凹Attention，得到最后的表示

  
  整体框架图

[IJCAI 2019] pre-training of graph augmented transformers for medication recommendation

• 用图增广的BERT预训练药物的Embedding
• 考虑药物的分类知识作为graph
• 从graph中的父节点&子节点得到item Embedding
• 用BERT预训练item Embedding
• 然后把序列平均起来，输入分类网络来fine-tune

[IEEE Access 2019] Transformer-Based Neural Network for Answer Selection in Question Answering

• Transformer应用到QA上面
• 就是self Attention+BiLSTM得到question和answer的表示
• 最后算cosine相似度，用ranking loss

• 没有Q-A之间的交互

  
  整体框架图

[KDD 2019] Deep Spatio-Temporal Neural Networks for Click-Through Rate Prediction

• 广告CTR预估

• 考虑了时间-空间信息，时间就是用户历史点了和没点的广告，空间就是在待预测广告之上的同一页面的其他广告

  
  时空信息
• 这样就有了3个序列：当前的其他广告，历史点了的，历史没点的

• 3个序列分别与当前广告做交互，得到融合的表示，最后加起来得到整体的表示

  
  整体框架图

[KDD, 2019] Towards Knowledge-Based Personalized Product Description Generation in E-commerce

• 个性化的商品描述生成
• 把知识库和商品属性加进去了，商品属性中有用户信息

• 然后就是用transformer框架生成文本

  
  整体框架图

[AAAI 2019] Unsupervised Fake News Detection on Social Media: A Generative Approach

• 概率图模型做的假新闻识别
• 无监督学习，考虑tweet用户的参与

• 分3个层次，1是原来新闻，2是认证用户发布的与新闻相关的tweet，3是其他用户的点赞、平均、转发。

  
  概率图模型