实战_基于多目标mmoe的电商场景排序应用

MMOE模型的基础结构

概念

多目标任务学习（MTL）指有两个或两个以上的目标函数，目的是寻求一种排序使得所有的目标函数都达到最优或满意

相关指标：点击，浏览时长，加购物车，收藏，购买，复购，好评等

主要目标

1. 多个目标定义一个综合的损失函数

2. 多个任务之间信息共享的复杂性和差异性

CTR与CVR之间的平衡（跷跷板现象）

模型结构

image-20220210104412542.png

两种不同目标

第一部分：Output A & Tower A

第二部分：Gate A/B 不同门控

第三部分：Expert 0/1/2 不同专家，信息共享块

第四部分：Input输入

整体结构抽象看，如下图：

1_new.jpg

将DNN模块抽象为特征抽取器模式，我们来仔细看特征抽取器中有哪些内容。

注：这些都可以任意替换。

2.jpg

基于ESMM

image-20220210110520580.png
image-20220124193102976.png

从ESMM延伸到MMOE

image-20220124193732019.png image-20220124193802009.png

门控 softmax归一化后 输出的权重个数 = 专家系统个数

区别于ESMM：

• 专家系统

• 门控

MMOE的注意事项

多个expert加权求和

gate的softmax输出长度 = 专家系统个数

MMOE的应用场景

广告、推荐、搜索等排序场景

需要对多个目标进行同时提升的情况