GRU LSTM BRNN

coursera deeplearning
门控循环网络 Gated Recurrent Unit (GRU)
GRU的目的是解决梯度弥散和长距离影响减弱的问题

image.png

Γu : 更新门
Γr : 相关性门

长短期记忆网络 Long Short Term Memory (LSTM)

image.png

GRU只有两个门控，更适合于构建和扩展大的神经网络，LSTM有三个门控，更加强大和灵活

双向循环神经网络 Bidirectional RNN
为了解决有些句子需要输入后面的词语，提出了BRNN

image.png
image.png

Deep RNNs

image.png

横向表示时间戳
纵向表示网络层
一般不会堆叠太多，否则计算量太大