语言模型笔记
2020-02-16 本文已影响0人
愿better
参考n-gram：
https://blog.csdn.net/songbinxu/article/details/80209197
本篇讲述语言模型及重要的几个概念，nlp基础补一下。
语言模型概念
LM（language model）
语言模型用来判断：是否一句话从语法上通顺。
通过概率来判断
链式法则CHAIN RULE
联合概率通过条件概率和边缘概率来表达
马尔科夫假设
Markov Assumption
是什么？
一件事情发生仅与最近的几次相关性大
为什么要用？
一个这么长的句子出现的次数肯定很少，导致概率稀疏性，也就是0.
也就是右边句子很长，概率大部分都是0.
解决：
最大似然估计
上面的p概率怎么计算？就是用MLE。
语言模型--unigram
语言模型--Bigram
语言模型--N-gram
unigram：Estimating Probability
评估语言模型
不依赖任何任务、场景
语言模型修正：平滑
语言模型修正：插值
