NLP（3）——seq to seq
2018-07-20 本文已影响65人
飘涯
- 什么是Seq2Seq网络？
在Seq2Seq模型中采用了这种 Encoder-Decoder架构，其中 Encoder 是一个RNNCell（RNN ，GRU，LSTM 等） 结构，四层的LSTM结构使得能够提取足够多的特征，使得decode的模型变好 -
几种Seq2Seq模式
1.学霸模式
2.普通作弊
image.png
3.学弱作弊
普通作弊的基础上，回顾上一刻的答案
4.学渣作弊（attention机制）
上课的时候划重点 - 应用场景
只要是序列到序列都可以用 -
attention机制是怎么引入的？
image.png
第一步
第二步：
第三步：
- seqtoseq损失函数
损失函数为交叉熵损失函数，一般情况下，深度学习最后用softmax最为分类器一般都会选择用交叉熵损失函数
