GRU循环序列模型简记(&RNN unit)
2019-01-23 本文已影响4人
madeirak
RNN 单元
GRU简化模型
是上一时间步的状态,是这一时间步状态,(这三个参数在吴恩达视频中又叫memory cell,取首字母),是此时间步的输入,是重写记忆细胞值的候选值,(update)是此时间步的更新门(gate)值,tanh和分别是激活函数tanh函数和S函数(又叫函数),可选择将每个时间步的新的记忆细胞值通过softmax激活后输出,、是偏移量,、是权重,是元素级的乘积,
GRU主要参数的计算公式上方GRU示意图中紫色区域所执行的操作就是下方的第三个式子
上式的参数中、、可以是向量,他们是相同维度的,这也印证了他们的元素级乘积操作。由于是被激活后的值,值域在[0,1],它与同纬度的向量进行元素级乘积后,相当于通过0和1来选择保留或更新记忆细胞的值。
完整GRU的参数之间计算公式更进一步,完整的GRU还需添加一个参数,它代表(上一个时间步的记忆细胞值)和(此时间步的更新候选项)之间关联性
GRU单元中主要的部分是两个门,分别是上面提到的(更新门)、(关联门)