Wide&Deep

与传统搜索类似，推荐系统的一个挑战是如何同时获得推荐结果准确性和扩展性。推荐的内容都是精准内容，用户兴趣收敛，无新鲜感，不利于长久的用户留存；推荐内容过于泛化，用户的精准兴趣无法得到满足，用户流失风险很大。相比较推荐的准确性，扩展性倾向与改善推荐系统的多样性。

在目前大规模线上推荐排序系统中，通用的线性模型如LR被广泛应用。线性模型通常输入二进制的one-hot稀疏表示特征进行训练。比如特征“user_installed_app=netflix”为1，表示用户已安装netflix。交叉特征AND表示既安装了netflixapp同时又浏览过Pandora的用户特征为1，否则为0。wide模型可以通过利用交叉特征高效的实现记忆能力，达到准确推荐的目的。wide模型通过加入一些宽泛类特征实现一定的泛化能力。但是受限与训练数据，wide模型无法实现训练数据中未曾出现过的泛化。

像FM和DNN这种Embedding类的模型，可以通过学习到的低纬度稠密向量实现模型的泛化能力，包括可以实现对未见过的内容进行泛化推荐。当模型query-item矩阵比较稀疏时，模型的会过分泛化，推荐出很多无相关性的内容，准确性不能得到保证。

Wide部分就是基础的线性模型，表示为y=WX+b。X特征部分包括基础特征和交叉特征。交叉特征在wide部分很重要，可以捕捉到特征间的交互，起到添加非线性的作用。Deep部分就是个前馈网络模型。特征首先转换为低维稠密向量，维度通常O（10）-O（100）。向量随机初始化，经过最小化随时函数训练模型。激活函数采用Relu。

在联合模型中，Wide和Deep部分的输出通过加权方式合并到一起，并通过logistic loss function进行最终输出。联合训练和模型集成要进行区分，他们有着以下两点区别:

训练方式。 集成模型的子模型部分是独立训练，只在inference阶段合并预测。而联合训练模型是同时训练同时产出的。

模型规模。集成模型独立训练，模型规模要大一些才能达到可接受的效果。而联合训练模型中，Wide部分只需补充Deep模型的缺点，即记忆能力，这部分主要通过小规模的交叉特征实现。因此联合训练模型的Wide部分的模型特征较小。