CIKM'21 FINT：基于特征域交叉的CTR模型
2022-01-31 本文已影响0人
缄默笔记
Title：FINT: Field-aware INTeraction Neural Network For CTR
Link：https://arxiv.org/pdf/2107.01999.pdf
01 概述
特征交叉组合在模型中非常重要，充分利用低阶和高阶特征交叉，可以进一步提升模型效果。目前存在两个问题：
高阶特征交叉未充分挖掘
现有的高阶特征交叉方法（Wide&Deep、DeepFM、XDeepFM等），在交叉过程中，忽视了低阶域层次（field-level）的语义信息
因此论文提出FINT模型(Field-aware INTeraction)，在进行高阶特征交叉的同时，保留低阶域信息。
02 模型
2.1 模型结构
FINT模型主要分为三部分：Embedding层、Field-Aware交叉层和DNN层。
2.2 Embedding层
2.3 Field-Aware交叉层
基于特征域（field-wise）进行交叉组合，与FM、XDeepFM类似，都是在向量级（vector-wise）交叉计算，可以叠加多层，实现高阶特征交叉组合。
2.4 DNN层
2.5 时间复杂度
03 实验
实验结果如下图：Avazu数据上，AUC略低于XDeepFM，但时间复杂度和单个epoch训练时间，明显低于XDeepFM。
训练过程中，每个epoch训练时长：
04 个人小结
DCN、DCN-V2是在元素级（bite-wise）交叉，FM、XDeepFM是在向量级（vector-wise），相比元素级交叉，向量级交叉更能保持embedding向量含义。XDeepFM中CIN网络，采用多个filter（类似CNN），对所有两两交叉结果进行加权求和，复杂度较高，FINT可以看作XDeepFM的简版，对两两交叉结果按行进行加权求和，从而最终输出维度与输入维度相同。
更多精彩：
