近年来，语言模型 (LM)的使用呈爆炸式增长，而 ChatGPT 只是冰山一角。ChatGPT已被用于编写代码、食谱，甚至是十四行诗和诗歌。所有崇高的目的，但也有大量的科学文献，那么为什么不利用这些大量的文本数据呢？

微软最近推出了 BioGPT，新模型在多项任务中取得了最先进的成绩。让我们一起来了解一下。

同时，为什么它很重要？每年都有成千上万的科学出版物问世，很难跟上不断增长的文献。另一方面，科学文献对于开发新药、建立新试验、开发新算法或了解疾病机制至关重要。

BioGPT 基础信息

微软研究团队使用八个 Nvidia V100 GPU 进行 200,000 步，而微调则使用单个 Nvidia V100 GPU 进行 32 步。然后，该团队使用 3.57 亿个参数改进了预训练的基于 GPT-2 的模型，用于下游任务：端到端关系提取、文本生成、问题回答和文档分类。可惜 BioGPT 是基于 GPT-2 而不是 GPT-3 进行微调的。