推荐系统与深度学习(9): [IJCAI'19] IFM: 输入

2021-05-28  本文已影响0人  银色尘埃010

以下仅仅为个人对文章的阅读记录,如有错误,欢迎指正。如需转载注明来源即可~~

Yu Y, Wang Z, Yuan B. An Input-aware Factorization Machine for Sparse Prediction[C]//IJCAI. 2019: 1466-1472.
原文链接:http://www.global-optimization.com/boyuan/Mypaper/IJCAI-2019.pdf
原文Github源码:https://github.com/gulyfish/Input-aware-Factorization-Machine

一、简介

修改FM的模型,以往的FM模型例如FFM、FwFM、FMFM、FEFM等模型主要还是修改模型的二阶交互,前两篇文章刚好做了一个比较详细的介绍:

二、IFM 模型

模型一共分为四层:Embedding Layer,Factor Estimating Net(FEN),Reweighting Layer 和 FM Prediction Layer。 结合给出的公式,主要是通过FEN层学习一组权重,然后每个原始的embedding乘以权重得到精练后的特征表达,在LR部分也乘以权重。 IFM公式 接下来主要关注FEN,。在FEN中利用端到端的记忆网络,根据输入学习不同特征的权重。通过以下的结构图可以进行理解。主要是n层的全连接,而全连接的最后一层要等于输入中Field的数量,然后通过Softmax获得权重。 相关公式:

公式(5)的第一个在文中虽然说得比较复杂,本质上还是一层全连接。然后通过公式(6) 得到新的表示。

三、结果分析

使用的数据集是Frappe和Movielens、Avazu。前两者的指标RMSE和MAE
(一)、超参数分析

1、网络深度
2、Dropout ratio
3、激活函数

(二)、FEN网络的影响
1、训练速度
(我对这里的图是有疑问的,这里的RMSE应该是MAE。1)RMSE不可能这么低,在他之后表格的结果中和AFM论文中给出的FM训练过程;2)通过运行源码,这里应该是MAE才符合。虽然不影响结果。)



2、案例分析

3、模型不同部分的分析

(三)、整体效果分析
1、Frappe和Movielens
源码中给出了数据集划分,可以复现。

2、Avazu

论文中没有给出具体数据处理方式,不好复现。从其他CTR论文中的结果看FM的效果比其他低了2%,其实有点低。 image.png
上一篇 下一篇

猜你喜欢

热点阅读