RNN

Language modeling

目标：估计一个word sequence的概率

举个例子： recognize speech or wreck a nice beach， 从声音讯号里是判断不出来，但我们可以估计出来recognize speech的概率会更大一些

传统的方法是N-gram Language Modeling

n-1 个字的概率

smoothing 表示给某些情况一些小概率，例如p=0.0001

这些概率是不准确的，我们在training data里不能收集到所有情况

Neural language modeling里，会自动做smoothing

RNNLM: recurrent neural network language model