LSTM基本概念理解

    LSTM的本质使用三个门分别来表示“需要多少输入”，“需要记住前一个时刻隐藏单元多少内容”，“需要输出多少东西”。

    整个模型用图像表示如下图：

    三个门用公式表示如下

    其中三个门的输入就是当前时刻的输入xt和上一个时刻的隐藏状态，套在外面的函数为非线性激活函数，如logistic函数。输出区间为（0,1）。

    更新完记忆单元后，再根据输出门来决定当前时刻的隐状态ht

这里上面横的一条是C，下面横的一条是H

总结一下，三个门都有各自的参数，他们的输入均是本时刻的输入矩阵Xt和上时刻的隐藏单元Ht-1。这里引入新的名粗“记忆单元”，这个也会对后续产生影响，但是有别于隐藏单元。

    隐藏门和上时刻的记忆单元Ct-1点乘，                                         A

    输入门和本时刻的候选记忆向量点乘                                            B

    A+B组成新的记忆单元Ct

    输出门再与Ct点乘生成新的隐藏单元Ht