问答部分：
2020-06-29 本文已影响0人
高斯纯牛奶
BERT不属于语言模型，因为是mask了一个词，通过上下文去预测中间的单词，所以叫DAE（denoising autoencoder，去噪声自编码器）
image.png
-
李文哲的观点：NLP工业领域60%是不用深度学习方法
-
ELMO就是学习上下文词向量
-
XLNET=结合ELMO和BERT优缺点去设计一个新的模型
image.png
image.png
BERT不属于语言模型，因为是mask了一个词，通过上下文去预测中间的单词，所以叫DAE（denoising autoencoder，去噪声自编码器）
image.png
李文哲的观点：NLP工业领域60%是不用深度学习方法
ELMO就是学习上下文词向量
XLNET=结合ELMO和BERT优缺点去设计一个新的模型
