self—attention 李宏毅ppt整理
2020-12-02 本文已影响0人
殁月
image.png
image.png
image.png
一张图理解self-attention的算法。大量运算化为矩阵运算，利用gpu可以轻易加速。
image.png
多头注意力每一个head可以关注不同的点
多头注意力
位置编码
在seq2seq模型中的使用attention
before
用self-attention代替RNN
after
image.png
