【论文阅读】RNN语言模型

2019-08-08 本文已影响0人神游物外的轮子

Recurrent neural network based language model

提出了一种RNN语言模型，通过混合RNN模型能够在backoff模型基础上，下降50%的困惑度。
目前主流提升ngram性能的方法有两种：基于长文本信息的方法以及基于将单词分类的方法。

RNN模型

输入层 $x$ ，隐层 $s$ （状态层）以及输出层 $y$ 。
$t$ 时刻的网络输入为 $x(t)$ ，输出为 $y(t)$ ，网络状态为 $s(t)$ ，单词为 $w(t)$
$\begin{align} x(t) = w(t) + s(t-1) \\ s_j(t) = f \left( \sum_ix_i(t)u_{ji} \right) \\ y_k(t) = g \left( \sum_js_j(t)v_{kj} \right) \end{align}$
其中 $f(z)$ 是sigmoid激活函数：
$f(z) = \frac{1}{1+e^{-z}}$
$g(z)$ 是softmax函数：
$g(z_m) = \frac {e^{z_m}}{\sum_ke^{z_k}}$

实现细节

$s(0)$ 初始化为较小数字的向量，诸如0.1（当处理庞大的数据时，初始化并非占据主要地位）
输入 $x(t)$ 由独热向量和网络状态 $s(t-1)$ 向量拼接而成，所以输入的维数为词表大小 $V$ （实践中从3万到20万）加上隐层的维数（一般有30-500隐层单元）
权重使用小值进行初始化（均值为0，方差为0.1的随机高斯噪声）
初始学习率 $\alpha=0.1$ ，如果对数相似度降低，则折半学习率，一般收敛需要10-20个epoch

优化

对于出现较少的单词同质化，重新定义概率
$\begin{equation} P(w_i(t+1) | w_i(t), s(t-1)) = \begin{cases} \frac{y_{rare}(t)}{C_{rare}} & \text{if } w_i(t+1) \text{ is rare,} \\ y_i(t) & \text{otherwise} \end{cases} \end{equation}$

【论文阅读】RNN语言模型

Recurrent neural network based language model

RNN模型

实现细节

优化

猜你喜欢

热点阅读