GPT-2语言模型

最近学习GPT-2，只要参考下面的网址

https://www.jiqizhixin.com/articles/2019-08-26-12?from=synced&keyword=%E5%AE%8C%E5%85%A8%E5%9B%BE%E8%A7%A3GPT-2%EF%BC%9A%E7%9C%8B%E5%AE%8C%E8%BF%99%E7%AF%87%E5%B0%B1%E5%A4%9F%E4%BA%86

自注意力机制主要通过下面三个步骤来实现：

1. 为每个路径创建查询、键和值向量。
2. 对于每个输入的词，通过使用其查询向量与其它所有键向量相乘得到注意力得分。
3. 将值向量与它们相应的注意力得分相乘后求和