范式组件01

2022-03-28 本文已影响0人 Nefelibatas

所谓的范式模型，是指其他模型基于此范式演化的基础模型。

多层感知器（MLP）—— 最通用组件

目前多层感知器（Muti-Layer Perception）在推荐领域应用甚为广泛，它是一种简单、原汁原味的神经网络，能有效地建模高阶特征之间的交互，属于深度推荐算法中最通用的组件，并且其他的各种范式都是由此演变而来。

最典型的 MLP 包括三层：输入层、一个或多个隐藏层和输出层。MLP 神经网络的不同层之间是全连接的；每个神经元上面都有一个输入权重、偏置量和激活函数。

MLP 已被证明是一种通用的函数近似方法，可以拟合复杂的函数或解决分类问题。

自编码器（AutoEncoder）是最常见的神经网络无监督模型，主要用于特征降维或特征提取。

AE 一般由编码器（Encoder）和解码器（Decoder）组成，

这里可以理解为学习到输入数据的隐向量表征称为编码；

用隐向量表征重构出原始输入数据称为解码。

模型目的在于使输入和输出无限逼近。学习数据的隐向量表征由最中间层计算输出。

自编码器在推荐领域，主要用于学习用户或物品的隐向量表征，然后基于表征预测用户对物品的偏好。需要说明的是，自编码器的适用场景与其训练数据强相关，且因为属于无监督模型，无需标注，可以自动进行样本学习。

受限玻尔兹曼机（Restricted Boltzmann Machine）是一个由可见层和隐藏层组成的双层神经网络无监督模型，两层内部不存在连接，两层之间进行全连接。

RBM 与玻尔兹曼机（Boltzmann Machine）的差别在于：RBM 不存在两层内部连接，而 BM 存在两层内部连接，因为去除了同层之间的连接，从而提高了训练效率。

RBM 在推荐领域，主要用于评分预测，通过学习用户对物品的评分数据进行预测。

卷积神经网络（Convolutional Neural Network）是一种特殊的前馈神经网络，基本结构上包含以下三层：

卷积层，捕捉局部特征；

池化层，可大幅降低模型参数量级，并有效避免过拟合；

全连接层，根据不同的场景和任务输出模型的结果。

可以看出，CNN 把大量参数降维成少量参数再做处理，简化问题域的同时，又不会影响结果。

CNN 在推荐领域，主要用于从图像、文本、音频中提取物品的隐向量表征，并结合用户的隐向量表征进行推荐。

循环神经网络（Recurrent Neural Network）是一种含有反馈结构的神经网络，模型输出不但与当前输入相关，与之前的输入也相关，适用于对序列数据建模。

RNN 在网络各隐层之间的节点是具有连接的，可根据输入层的输出和前一时刻的隐层状态来计算当前时刻的隐层输出，从而具备对过去信息的记忆。

RNN 本身存在梯度消失和梯度爆炸的问题，经过改进网络结构后，如长短时记忆网络（LSTM）和门控循环单元（GRU）等采用了特殊的隐层结构，使得模型具备有效建模长程依赖关系的能力。

RNN 在推荐领域，主要用于对用户行为序列的建模，以及对用户或物品相关文本信息序列的建模等。

【其他范式还有哪些？】

除了上述 5 种常用范式之外，还包括神经自回归分布估计（Neural Autoregressive Distribution Estimation）、对抗网络（Adversarial Networks）等范式。