目录：

一 ：必读的博客与论文
二 ：keras attention项目
三 ：对Attention的一些个人理解

一：必读的博客与论文

1 Google 的论文：《Attention is all you need》
2 《attention is all you need》解读
3 《Attention is All You Need》浅读（简介+代码）（苏剑林大佬写的）
4 Transformer(一) -- 论文解读
5 Attention原理及TensorFlow AttentionWrapper源码解析（崔庆才大佬写的）

二 ：keras attention项目

keras 是我最喜欢的深度学习库，没有之一，我在网上搜了好久，终于，找到了一个由苏剑林大佬维护的github项目bert4keras，里面有keras实现的PositionEmbedding， MultiHeadAttention 网络网络层，点击直达.

三：对Attention的一些个人理解

attention的定义：

下面是他的模型图：

还有另一个重要结构MultiHead
他的公式：
MultiHead(Q,K,V)=Concat(head(1),...,head(h))

结构图：