RNN

• RNN 是一种利用神经网络对序列模型的通用模型
• 利用历史信息结合当前输入进行预测
• 适合解决时间序列输入输出问题，对于 NLP 来说就是序列标注问题，这就是 NLP 中最常见的问题。

RNN 梯度消失问题。

RNN是可以实现长时间记忆的。然而RNN反向求导会出现梯度弥散，导致我们很难训练网络，对于长时刻记忆总不尽人意，于是就诞生了LSTM。

LSTM

• 与 RNN 结构是一样的，只是对隐层单元内部结构进行了复杂化改造。

双向 LSTM

双向LSTM性能普遍优于单向LSTM

• 考虑了更多的上下文信息

RNN做应用典型的优化流程

• 先上 RNN 模型
• 优化成 LSTM 模型
• 优化 BIRNN 模型，增加特征输入
• 优化深度网络，多层LSTM模型叠加
• 引入 Attention Model

Attention