Transformer 修炼之道（二）、Encoder

2020-06-19 本文已影响0人 CW不要无聊的风格

Date: 2020/06/19

Author: CW

前言：

本篇文将对 Transformer 的 Encoder 作解析，内容应该是这个系列最丰富的一篇，因为后面的 Decoder 结构与 Encoder 几乎一致，只有些细节差异。

Encoder 的内容主要包括 多头自注意力层（Multi-Head Self-Attention） 和 前向反馈网络层（Feed Forward Network），前者用于捕捉特征之间的关系，后者是进一步编码学习，实质上等同于MLP（Multi-Layer Perceptron）。

Encoder 是由多个（通常6个）层组成的，在每个层内部都有残差连接和归一化操作，同时也包含了上述提及的多头自注意力层和前向反馈网络层。

Outline

I. Multi-Head Self-Attention

II. Feed Forward Network（FFN）

III. Add & Norm

IV. Summary

Encoder

Multi-Head Self-Attention

在 Encoder 的第1层里，多头自注意力层的输入是特征向量矩阵（比如多个词向量组成的矩阵），而在后面的其它层，输入则是前一层的输出。多头自注意力层由多个自注意力层组成，其输出由其中的每个自注意力层的输出拼接而成，我们可以先来看看单个自注意力层的操作。

当自注意力层获得输入后，会对其做不同的线性变换分别生成 Q（Query）、K（Key）、V（Value） 三个矩阵。

Q、K、V 的生成

然后按如下公式计算输出：

Self-Attention 计算公式

形象点用图表示如下：

Self-Attention 计算图示

这里除以 $\sqrt{d_{k} }$ 原因是防止Q和K的点积值过大（ $\sqrt{d_{k} }$ 即Q的列数，也是K的行数），避免在经过softmax后梯度太小。

作者的原话是：

We suspect that for large values of dk, the dot products grow large in magnitude, pushing the softmax function into regions where it has extremely small gradients.

这个计算过程的操作也称为 Scaled Dot-Product Attention 。

OK，至此，我们已经得到单个自注意力的输出，记为Z吧。而多头自注意力就是“多个头的自注意力”，通常“头数”（通俗理解为个数）设为8，这样就有8个自注意力的输出，最后将它们拼接起来再经过一个线性变换即可。