【NLP论文笔记】预训练语言模型总结

2022-05-16 本文已影响0人蘑菇轰炸机

本文档主要用于归纳总结与预训练语言模型相关的知识点。

核心主体来自，复旦大学邱锡鹏等研究者发的一篇论文，该文以巨大的篇幅展示了预训练语言模型的方方面面，不论是新奇的预训练任务，还是各种模型针对领域知识的扩展，我们都能快速 Get 到。

论文：Pre-trained Models for Natural Language Processing: A Survey论文地址：https://arxiv.org/pdf/2003.08271.pdf

另还有，ALBERT的作者，蓝振中博士对预训练语言模型的相关观点，一并整理在册。