Greedy NLP Learning Notes（五）Lang

1. noisy channel model

noisy channel model

noisy channel model基于贝叶斯定理

• noisy channel model的应用

  
  机器翻译与拼写纠错
  语言识别与密码破解

2.language model语言模型

• 语言模型的概念

  
  语言模型的概念

• 语言模型的目标

  
  语言模型的目标

3.chain rule and markov assumption

• chain rule的概念

  
  chain rule的概念

• 语言模型中的chain rule

  
  语言模型中的chain rule
  语言模型中的chain rule举例

• markov assumption

  
  markov assumption举例
  markov assumption公式

4.在语言模型中应用markov assumption

1st order use

5.unigram, bigram, n-gram

• unigram

  
  unigram

• bigram(基于1st markov assumption)

  
  bigram

• N-gram

  
  N-gram

6.评估语言模型的概率

• unigram的概率计算

  
  单词概率的统计方法
  unigram的概率计算

• bigram的概率计算

  
  bigram中似然如何统计
  bigram的概率计算

• N-gram的概率计算

  
  N-gram的概率计算

7.评估一个语言模型

• 理想情况下

  
  如何评估语言模型

• Perplexity来评估语言模型

  
  Perplexity
  

  使用一个训练好的语言模型对一个语料库进行计算平均对数似然（average log likelihood），再计算perplexity。平均对数似然越大，perplexity越小，模型越好。

• 举例说明如何计算perplexity

  
  Bigram中计算perplexity
  unigram、bigram、trigram的perplexity对比
  

  可见，一般来说，markov assumption的级数越高，即更高维度的N-gram，则语言模型的perplexity越好。