LLM 大规模语言模型简介
2023-03-31 本文已影响0人
wywincl
语言的重要性不言而喻,它是我们了解世界的方式(例如:新闻、网络搜索或维基百科),也是我们塑造世界的方式(例如:协议、法律或信息)。语言还是我们联系和沟通的方式,不仅是个人之间,也包括组织和公司之间。
尽管软件的发展迅速,但计算机在处理语言方面的能力仍然有限。软件可以很好地搜索文本中的精确匹配,但在人类日常使用的更高级的语言应用方面通常会失败。
因此,我们明显需要更智能的工具来更好地理解语言。
最近在人工智能(AI)领域的一个重要突破是,引入了语言处理技术,使我们能够构建具有比以往更丰富的语言理解能力的更智能系统。大型预训练的Transformer语言模型,简称大型语言模型,极大地扩展了系统处理文本的能力。

考虑这个问题:将语言模型用于增强Google搜索被认为是“过去五年中最大的跨越,也是搜索历史上最大的跨越之一”。微软也在Bing搜索引擎中使用这种模型来处理每个查询。
尽管这些模型非常实用,但是有效地训练和部署它们需要大量的数据、计算和工程资源。