如何评估语言模型的好坏?

1. 有监督情况: AB测试: 对两种模型就行ab测试,看哪个在测试集合准确率高
2. 无监督情况:

perplexity

x: average log likelihood

perplexity 表示的是我们评估的模型的到的句子的信息熵的大小,越小越好

perplexity公式

即, 数据集每个句子的概率p的倒数开n次根号,n是这个句子中的词的数量.

参考: https://www.zhihu.com/question/58482430