用 Recursive Neural Networks 得到分析

2016-09-23 本文已影响3137人不会停的蜗牛

CS224d-Day 10:
Recursive neural networks -- for parsing
课程链接
 视频链接
 课件链接

本文结构：

Recursive Neural Networks 可以用来表达长句子，将一个句子映射到向量空间。

通过分析出句子的 parsing tree 的结构，把一个句子拆分成几个小组成单元，然后可以替换其中的一些部分，进而得到一些相似的句子，比如把这个 NP 名词短语，换成另一个 NP 名词短语。

这些句子由不同的短语组成，但是表达的意思却是一样的，在向量空间中，它们的距离也会很近。例如 ‘the country of my birth’ 和 ‘the place where I was born’ 意思一样，向量空间上的表达也就很近。

想要分析数据的 hiearchical structure 的时候，Recursive NN 要比 Recurrent NN 更有效一些。

Recurrent NN 是 Recursive NN 的一种特殊形式，一个链可以写成一棵树的形式。

Recursive NN 可以返回树上每个节点的向量表达，Recurrent NN 在任何时候返回一句话的向量。

Recursive NN 可以用一个很好的方式来描述句子。
可以识别句子中的成分，可以通过替换组件来形成同样合理的句子，可以处理歧义问题，分析句子的语法结构，语义结构，理解一段话的指代词的含义。
可以学习到一个句子里哪个组成成分更重要，比如VP比NP更重要。可以学习到哪几个句子意思相近。

RNN 的输入是句子，输出是一个 parse 树结构。

下图是一个最标准的神经层，W 在整个网络中是一样的。

有个拓展模型 Syntactically-United RNN，是根据不同的组成成分使用不同的 W

RNN由三部分组成，根，左叶子，右叶子，也就是一个 Binary Tree。
它的每个节点上由一些神经元组成，神经元的个数由句子的复杂程度决定。
叶子是接收数据的，也就是向量，根是分类和评分的。

第一步，会先把句子的结构学习出来。
单词两两组合，进行评分，再作为一个整体，和后面的一个单词组合，再评分。
两个单词如果应该放在一起，就会得到高分，否则分数较低。

一个句子会得到多个结构，用 Greedy 选择其中分数最高的，作为最终的树结构。

用 Max Margin 来学习最优的树结构。每个 i 代表一个句子，A(x_i) 是包含 x_i 的所有可能的树，当 y 与 y_i 一样时，delta＝0.

模型训练时，通过比较 labeled 数据，比较合适的结构和预测的结构，用 BTS 使误差达到最小。

第二步，再为结构中的每个小部分找到合适的语法标签，判断是什么成分的短语，是NP名词短语，VP动词短语，还是PP介词短语等。

定义线性的神经元，做内积 W(left + right) + b
用 softmax 对每个点做 classify
node.probs -= np.max(node.probs) 这个技巧可以保证stable

下面的代码就是计算红色框里的式子

我是 不会停的蜗牛 Alice
85后全职主妇
喜欢人工智能，行动派
创造力，思考力，学习力提升修炼进行中
欢迎您的喜欢，关注和评论！