推荐算法笔记08_国内推荐系统【下】

国内推荐系统实践

COLD

Towards the Next Generation of Pre-Ranking System

在阿里大规模在线广告排序系统中，级联排序架构按顺序包含召回，粗排，精排，重排序等模块

粗排需要从上万个广告集合中选择出几百个符合后链路目标的候选广告，并送给精排模块

粗排一般需要在10～20ms内完成打分

image-20220106160848262.png

传统方法

• 基于离线统计

• 基于lr的线上预估

• 基于双塔结构

模型表达能力受限

模型实时性较差

模型和算力的优化没分离

image-20220106161002276.png image-20220106161018580.png

灵活的网络架构可以进行效果和算力的平衡

• 支持任意复杂的深度模型(GwEN)

进行工程优化以节省算力

精简网络

• 网络剪枝(network pruning)

• 网络结构搜索(neural architecture search)

• 特征筛选(feature selection)

image-20220106161130069.png

https://tianchi.aliyun.com/course/live/1451

SE (Squeeze-and-Excitation) block 引入到了特征筛选过程中，得到特征重要性分数

• SE block 把 𝑒𝑖 压缩成一个实数 𝑠𝑖

  • 将 𝑀 个特征的 embedding 拼接在一起

  • 经MLP和sigmoid 函数激活后，得到M维的向量 s

• 将 𝑠𝑖 乘回到 𝑒𝑖，得到新的加权后的特征向量

• 由特征重要性得分选择top K作为候选特征

• 根据GAUC、QPS和RT等离线指标选择最佳特征平衡效果和算力

为适应更复杂的特征模型，工程优化

• 优化GPU并行计算

• 优化特征计算

image-20220106161337837.png

COLD的在线学习相比向量内积模型有优势的地方

• 更及时的响应数据分布的变化，对新广告冷启动更为友好

• 对于模型迭代和在线 A/B 测试都更有利(延迟)

image-20220106161413152.png

https://zhuanlan.zhihu.com/p/186320100

CAN

Revisiting Feature Co-Action for Click-Through Rate Prediction

精排

模型表示特征工程(Co-Action)

• dnn的隐式交叉

• dnn的显式交叉

• 特征交叉的笛卡儿积

离线和在线服务成本高

兼顾记忆性和泛化性（wide & deep）（特征交叉和参数共享）

• Memory Net

• 一个ID信息作为输入，另一个ID信息作为MLP的参数用MLP输出表达co-action信息

image-20220106161712476.png

https://arxiv.org/pdf/2011.05625.pdf

候选物品和不同的历史物品做co-action，输出co-action有一定信息共享，在参数更新时也会不同。

https://zhuanlan.zhihu.com/p/287898562

https://zhuanlan.zhihu.com/p/340735631

阿里新一代Rank技术

https://mp.weixin.qq.com/s/g833sWlKiMlNz_l0SzBnhg

https://github.com/CAN-Paper/Co-Action-Network

image-20220106161933846.png image-20220106162022449.png

快手推荐系统实践

多目标排序在快手短视频推荐中的实践

推荐算法在快手的流量分发和用户体验中起核心主导作用

发现页：看见更大的世界

双列：选择权

单列：沉浸式

关注页：半熟人半陌人生社区，私域流量

同城页：身边触手可及的生活

主要优化目标是提高整体DAU，让更多的用户持续使用快手，提升用户留存

• 提升使用时长/正向反馈，减少负向反馈，可以提高用户留存

• 留存提升在累计一段时间后会带来DAU的置信显著提升

用户反馈分四类：

• 隐式正反馈：用户在无意间的行为，如播放时长、有效播放、播放完成率、完播、复播等

• 显示正反馈：用户有意识地做出反馈，如收藏、下载、关注、点赞，发表正向评论等

• 隐式负反馈：如短播放、用户终止一次session等

• 显示负反馈：需要用户显式表达，如不感兴趣、负向评论、举报等

多任务模型同时预估20多个不同的预估值，如点击率、有效播放率、播放时长、点赞率、关注率等目标

快手推荐追求时长、点赞、关注、分享等多种目标，以及减少不感兴趣等负向反馈，通过合适的排序目标和机制设计，获得多目标的协同提升

如何把这些预估值融合成一个单一的排序分？

• 线性加权融合和

  • 𝑣𝑎𝑙𝑢𝑒 = 𝑎 ∗ 𝑝𝐸𝑣𝑡𝑟 + 𝑏 ∗ 𝑝𝐿𝑡𝑟 + ⋯ + 𝑔 ∗ 𝑓(𝑝𝑊𝑎𝑡𝑐ℎ𝑇𝑖𝑚𝑒)

• 基于树模型的ensemble打分

  • 使用GBDT模型，引入pXtr、画像和统计类特征，拟合组合label

  • 𝑤 = 𝑎 ∗ 𝑒𝑓𝑓𝑒𝑐𝑡𝑖𝑣𝑒_𝑣𝑖𝑒𝑤 + 𝑏 ∗ 𝑙𝑖𝑘𝑒 + ⋯ + ℎ ∗ 𝑓(𝑤𝑎𝑡𝑐ℎ𝑇𝑖𝑚𝑒)

双塔形式的DNN类模型学习打分函数

• 视频塔把各种个性化预估值拼在一起，形成一个24维向量

• 用户塔的顶层向量通过网络学习，产出一个24维向量

• 对视频塔和用户塔做向量内积得到模型输出值

相当于通过学习线性加权的超参数去拟合最终的组合收益

https://mp.weixin.qq.com/s/mxlecZpxXEoOe21UY_UCXQ

image-20220106163429992.png

推荐系统的研究热点与方向

Research Interests

模型或框架表达人的先验知识

• 多目标学习

• 基于图神经网络的行为和属性建模 https://mp.weixin.qq.com/s/hP8DA5Xf7DglkexqCSVmcA

• 基于知识图谱的推荐 https://mp.weixin.qq.com/s/P1TIOrC8ve-6265dMz1nvQ

• 多兴趣细粒度建模

• 对话式推荐系统 https://mp.weixin.qq.com/s/BJDwUFmCgBHhJNxfe6uu4A

  • 基于强化学习的推荐系统

2020推荐算法最新论文

• 特征交叉建模

• 行为序列兴趣建模

• 基于位置偏差建模

• 多任务学习

• 模型/特征蒸馏

• 跨域学习

• 模型训练方式

https://zhuanlan.zhihu.com/p/335781101