https://blog.csdn.net/qq_39422642/article/details/78676567

通俗易懂的理解attention:

比如，我的世界，我爱涵涵。这两个句子中的"我“，虽然都是"我",但是代表的意思的不同的，即汉语中的一词多意，在不同的语境下，一个词语的意思可能是不同的。因此，我们在对序列建模时，要考虑上下文关系。attention可根据上下文，学习到不同的词意。

比如，我爱涵涵，"我"由0.6的"我"组成,由0.2的”爱"组成，由0.2的"涵涵"组成。