长短记忆神经网络

长短记忆神经网络定义

长短记忆神经网络（Long-short term memory, LSTM）是一种特殊的RNN结构。该神经网络可以有效保留历史信息，实现对文本的长期依赖信息进行学习。

关键问题：控制长期状态信息

图1. 长期状态信息 C 的控制

解决方法：门控开关

门的定义：使用门（Gate）实现对图1中开关的控制。所谓的门，即全连接层的一个神经元，如图2所示。门的激活有两种形式：和

图2. sigmod或tanh激活单元

门控实现：LSTM网络由输入门、遗忘门、输出门和一个记忆单元来实现历史信息的更新和保留，如图3所示。

图3. LSTM记忆单元

• 门限开关控制
  遗忘门：决定保留多少上一时刻单元状态信息到当前时刻的记忆单元中。
  
  输入门：决定保留多少当前时刻的输入信息到当前时刻的记忆单元中。
  
  输出门：决定控制多少当前时刻的记忆单元的输出值。
  

• 状态更新
  当前时刻候选状态值（中间状态）：
  
  当前时刻长期状态值更新：
  

• 当前时刻输出值
  当前时刻LSTM单元的输出值。