推荐系统算法之读论文系列开启！

点击率预估中特征交互作用CAN

前期知识储备

• 笛卡尔积

• 神经网络

• 特征交叉

• tensorflow

学习目标

• 构建训练数据(样本侧)

• 特征工程(特征侧)

• 模型结构(模型侧)

• 评估

作者思路：通过特征工程存在的问题，运用模型结构去解决特征工程的问题

模型结构

• DIEN

• CAN（包含了DIEN）

• 针对序列特征

数据集

• Amazon行为数据集

• Avazu行为数据集(无序列)展示泛化性

特征交互（论文的灵魂部分）

image-20220227223416704.png

作者提出的问题：当前研究主要针对隐性表征少有针对显性表征的研究，如何进行显性表征以及如何进行显性特征挖掘。

解决方案：作者提出Co-Action单元，可嵌入任何网络中、捕获特征交互的多阶信息、多层迭代。

研究背景

学术理论

• 当前点击率预估模型没有完全挖掘特征交互的潜力

• 特征的表征学习与特征的交互存在冲突

• 笛卡尔积的方法比当前的点击率预估模型效果都好

工业落地考虑

• 算法模型的效率和效果的平衡

• 阿里巴巴线上业务量级和耗时的考虑

  
  image-20220227224005490.png

image-20220227224603761.png

F(F(A) + F(B)) -> target

原始信息到向量有信息损失，如A泳衣与B护目镜有所关联，在No Co-Action中只有转化为向量才开始关联，丢失了原始信息A与B之间的关系。

特征交互的潜力挖掘：

在Co-Action中A与B同时出现组合作为一个特征放入到Target中，表示A、B相互关系作用，当A与B组合为0则等同于No Co-Action中的F(F(A) + F(B)) -> target。

F(F(A) + F(B) + F(A,B)) -> target

如何捕捉A与B之间的关系？

笛卡儿积，即特征组合。

作者提出的问题：

Q: 笛卡尔积的方法优于大部分方法，但是带来了巨量的参数？

Q: 如何平衡特征表达和特征交叉的学习？

之后围绕这两个问题论文中提出各种解决方案。

研究成果

这篇论文的主要贡献

• 强调了特征交叉建模的重要性

• 提出一个轻量级的模型(CAN)

• 在公开数据集和工业环境进行了验证有效性

• 提出了一种工业部署技术

阿里巴巴线上部署后，带来平均12% CTR（点击率） 提升和8% RPM（千次展示收入） 线上提升。

将DIEN作为基线进行比较。

即可用于序列特征也可以用于常规特征。

研究意义

Co-Action Network 的意义

• 想为特征交互走一条新的路

• 工业落地的产物

CAN是我们希望推进找到模型化的方案替代笛卡尔积建模co-action，背后希望的是找到一

条新的路，让交互信息建模还有进一步的迭代空间

论文结构

Abstract

介绍背景，提出问题及给出解决方案Co-Action Network

Introduction

• 特征交互的意义及有效性

• 介绍本论文主要贡献

RELATED WORK

• 基于聚合的方法

• 基于图的方法

• 基于组合的方法

Details of CTR

• 特征交互在ctr预估中的作用

Details of Co-Action

• Co-Action Unit的结构

• 参数细节调整

• 多层网络增强

EXPERIMENTS

• 学术公开数据集：Amazon，Avazu

• 与常规方法的比较

Results

• 离线指标AUC

• 消融实验对比

Results online

• 线上实验结果分析

CONCLUSION

• 总结模型的有效性