NLP&NLU

通俗理解注意力机制中的Q、K和V表示的具体含义

2020-04-16  本文已影响0人  top_小酱油

通俗理解讲解一

以翻译为例

  • source:我 是 中国人
  • target: I am Chinese

比如翻译目标单词为 I 的时候,Q为I

而source中的 “我” “是” “中国人”都是K,

那么Q就要与每一个source中的K进行对齐(相似度计算);"I"与"我"的相似度,"I"与"是"的相似度;"I"与"中国人"的相似度;

相似度的值进行归一化后会生成对齐概率值(“I"与source中每个单词的相似度(和为1)),也可以注意力值;

而V代表每个source中输出的context vector;如果为RNN模型的话就是对应的状态向量;即key与value相同;

然后相应的V与相应的P进行加权求和,就得到了context vetor;

从网上找到了一张图更能证明我的理解的正确性;

阶段1中的F函数是一个计算得分的函数;比如可以用前馈神经网络结构进行计算得分:

这里的v与上面的V是不一样的,这属于一个单隐藏层的前馈神经网络;v属于隐藏层激活后的一个计算得分的权重系数矩阵;

w属于激活前的权重系数矩阵;

这里应该是输出神经元为一个得分值;所以需要多个前馈神经网络同时计算每个hi的得分;与我预想的不同,以为一个前馈神经网络就可以输出所有对应的得分,即输出层的维度是与input序列长度一样;(目前的理解);为什么不与预想的一致呢?

然后对所有得分进行归一化,一般选择softmax方法;让权重系数为1

第二阶段:将hi与对应的权重系数相乘得到一个context vector;即注意力值.

通俗理解讲解二

Q、K、V是什么

[PS:本文谈论的Q、K、V只限于seq2seq结构]

  • Q:指的是query,相当于decoder的内容
  • K:指的是key,相当于encoder的内容
  • V:指的是value,相当于encoder的内容

看到这里,是不是只想直呼卧槽,这什么鬼。不急,先看一个例子

例子

由于讨论的是seq2seq任务,于是来看看机器翻译。
假如我们要将我喜欢看电影翻译成I like watching movies,步骤则会如下

  • 使用一种编码方式(如LSTM、CNN、Transformer等)编码中文
  • 使用一种方式解码
    1.机器翻译这个任务中会在解码端给一个开始的标记,如</s>,我们根据这个标记传给解码端,开始生成英文,比如生成了I这个单词,下一步当然是需要生成’like’这个单词,于是这个I将会作为query集去查找,形象话说就是我们需要使用已经有的东西去询问一些事情。
    ** 2.去哪里查找?当然是编码端,也就是那些可以被查找的信息,如果原文在编码中是字向量表示则是我、喜、欢、看、电、影。
    3.找到了返回啥的信息?返回编码端的信息,具体的会将我、喜、欢、看、电、影做一个调整再回传。
    到这里,对于使用Attention机制的seq2seq任务,这么理解我认为是没问题的。
上一篇下一篇

猜你喜欢

热点阅读