通俗理解注意力机制中的Q、K和V表示的具体含义
2020-04-16 本文已影响0人
top_小酱油
通俗理解讲解一
以翻译为例
- source:我 是 中国人
- target: I am Chinese
比如翻译目标单词为 I 的时候，Q为I
而source中的 “我” “是” “中国人”都是K，
那么Q就要与每一个source中的K进行对齐（相似度计算）；"I"与"我"的相似度，"I"与"是"的相似度；"I"与"中国人"的相似度；
相似度的值进行归一化后会生成对齐概率值（“I"与source中每个单词的相似度（和为1）），也可以注意力值；
而V代表每个source中输出的context vector；如果为RNN模型的话就是对应的状态向量；即key与value相同；
然后相应的V与相应的P进行加权求和，就得到了context vetor；
从网上找到了一张图更能证明我的理解的正确性；
阶段1中的F函数是一个计算得分的函数；比如可以用前馈神经网络结构进行计算得分：
这里的v与上面的V是不一样的，这属于一个单隐藏层的前馈神经网络；v属于隐藏层激活后的一个计算得分的权重系数矩阵；
w属于激活前的权重系数矩阵；
这里应该是输出神经元为一个得分值；所以需要多个前馈神经网络同时计算每个hi的得分；与我预想的不同，以为一个前馈神经网络就可以输出所有对应的得分，即输出层的维度是与input序列长度一样；（目前的理解）；为什么不与预想的一致呢？
然后对所有得分进行归一化，一般选择softmax方法；让权重系数为1
第二阶段：将hi与对应的权重系数相乘得到一个context vector；即注意力值.
通俗理解讲解二
Q、K、V是什么
[PS：本文谈论的Q、K、V只限于seq2seq结构]
- Q：指的是query，相当于decoder的内容
- K：指的是key，相当于encoder的内容
- V：指的是value，相当于encoder的内容
看到这里，是不是只想直呼卧槽，这什么鬼。不急，先看一个例子
例子
由于讨论的是seq2seq任务，于是来看看机器翻译。
假如我们要将我喜欢看电影翻译成I like watching movies，步骤则会如下
- 使用一种编码方式(如LSTM、CNN、Transformer等)编码中文
- 使用一种方式解码
1.机器翻译这个任务中会在解码端给一个开始的标记，如</s>，我们根据这个标记传给解码端，开始生成英文，比如生成了I这个单词，下一步当然是需要生成’like’这个单词，于是这个I将会作为query集去查找，形象话说就是我们需要使用已经有的东西去询问一些事情。
** 2.去哪里查找？当然是编码端，也就是那些可以被查找的信息，如果原文在编码中是字向量表示则是我、喜、欢、看、电、影。
3.找到了返回啥的信息？返回编码端的信息，具体的会将我、喜、欢、看、电、影做一个调整再回传。
到这里，对于使用Attention机制的seq2seq任务，这么理解我认为是没问题的。
