吴恩达深度学习-序列模型 1.5不同类型的循环神经网络

2020-01-26  本文已影响0人  prophet__

在之前我们讲到的神经网络模型当中,输入和输出的长度是相同的。但是在实际的应用当中,有些序列模型所需要的输出跟输入的长度不一样,那么我们就要学习一些不太一样的神经网络模型。

比如说我们之前提到的,创作音乐的模型,和翻译的模型等等,都是输入跟输出不等长的例子。

在这里我们使用到的模型源自于一个博客:http://karpathy.github.io/2015/05/21/rnn-effectiveness/

在这里我们对使用的模型进行了几个分类:

many-to-many:也就是我们之前提到的那个模型,多个输入量对应多个输出量(输出与输入的长度不一定相等)。

many-to-one:多个输入量对应一个输出量,这个输出量的位置就在输入量的末尾,获取了所有信息之后做出判断。

one-to-many:单个或者无输入,但是有多个输出变量,这个适用于音乐生成或者是其他的序列应用当中。

当many-to-many的长度不相等时,在前面输入的RNN当中没有y的输出,当完成了输入之后,再后面继续接上y的输出。(虽然我觉得这样有点奇怪,不知道怎么获取它前面所得到的信息)

除了这三种之外,还有一种叫做注意力模型,会在第四周的课程当中讲到。

对于序列模型的各种分类我们基本上都已经了解了,但是对one-to-many这种模型,我们还有一些细节需要讨论,在下一节课当中我们会讲到。

上一篇下一篇

猜你喜欢

热点阅读