循环神经网络模型，seq2seq模型理解

循环神经网络与一般神经网络的区别：

1、样本数据区别

      循环神经网络的训练数据的基本单位是num_steps,num_steps个样本作为一组，num_steps个样本有先后顺序。

      数据的shape: batch_size,num_step,num_features

     训练数据的生成方式有：随机采样和相邻采样

2、网络结构的区别

在一个num_steps为一组的数据中，上一个样本的输出（历史信息），作为下一输入的一部分。

第一个的输入是历史信息是state，人工初始化

RNN与LSTM的区别:

RNN之将上一个输出（H）作为下一个样本的输入信息，一个训练单元有两个输入Xt和Ht-1

LSTM在RNN的基础上增加了state变量（C），一个训练单元有三个输入Xt，Ct-1,Ht-1

RNＮ图示：

LSTM图示：

seq2seq模型理解：

seq2seq是encoder-decoder结构的实例

encoder的作用是从输入序列提取出context信息，也就是lstm网络的最后一个state(h,c）

decoder的作用是以encoder得到的context信息作为initial-state，以<start>作为X1，预测序列，直到输出<end>