注意力

2021-08-31 本文已影响0人 SimonLiu000

加性注意力：利用两个可学习的W

$\mathbf{W}_{k} \in \mathbb{R}^{h \times k}, \mathbf{W}_{q} \in \mathbb{R}^{h \times q}, \mathbf{v} \in \mathbb{R}^{h}$

$a(\mathbf{k}, \mathbf{q})=\mathbf{v}^{T} \tanh \left(\mathbf{W}_{k} \mathbf{k}+\mathbf{W}_{q} \mathbf{q}\right)$

点积注意力：

上一篇下一篇

猜你喜欢

热点阅读