一文让你看懂GPT的前世今生 | ChatGPT的进化之路

今天咱们聊聊ChatGPT的发展路径。很多朋友一定关心这里面三个缩略词GPT的含义。

GPT全名是生成式预训练Transformer模型(generative pre-training transformer)。generative代表着它有文本生成的能力，pre-training是指着预训练，昨天的文章我们已经解释了目前的基于深度学习的人工智能技术产生的AI模型都要通过喂数据，跑在GPU等带算力的服务器上训练出来，预训练就是经过了大量数据的训练，形成了一个预备可用的大模型，有的人可以基于这个模型再进行微调，很多行业大模型就是这么训练出来的，比如AI客服，专注于法律的问答机器人等。重点再跟大家解释下Transformer模型，首先联想到的是小时候常看的变形金刚动画，我想这也是开发者的用意，目前的文本、图像生成，不就是把现有的文字、像素等进行重组变形，形成新的文字或图片内容么。Transformer 就是一种计算机模拟的人工神经网络，由Google团队在2017年首次提出。它通过跟踪序列数据中的关系（如这句话中的词语）来学习上下文并因此学习含义。Transformer 网络应用了一组不断发展的数学技术，称为注意力机制，以检测输入序列中的不同部分之间的关系。具体说来，当输入一个句子时，Transformer 网络会将每个单词转换成向量，然后使用多头注意力机制计算它们之间的关系，其中每个输入向量都被投影到一组“头”中，每个头都对输入向量进行加权求和，并生成一个注意力权重矩阵。这个矩阵可以被用来计算出每个单词与其他单词之间的相关性，从而确定它们在句子中的出现概率。通过这种方式，根据上下文就能推断出更深层次的含义。Transformer 网络最早应用领域是NLP自然语言处理，现在已经扩展到了计算机图像识别，图像生成，视频生成等领域。虽然Google是Transformer的提出者，但Transformer的概念和架构本身并不受特定的知识产权保护。这意味着其他人和组织可以自由地使用和改进Transformer的概念和技术。所以OpenAI公司在2018年，基于Transformer网络搭建了GPT-1模型，在《生成式人工智能》一书中提到:

对于GPT-1模型，我们可以这么理解：先使用海量没有进行标注的语料，预训练出一个语言模型，而后对语言模型进行微调，使之应用于特定的语言任务中。

紧接着在2019和2020年，OpenAI又相继推出了GPT-2和GPT-3，书中继续提到:

GPT-2则在GPT-1的基础上进行了多任务的训练，使用了更大的数据集，提升了语言处理能力。GPT-3则在训练的参数量、训练数据和训练费用上都高于前两者，能完成更加复杂的任务。

扩展说来，GPT-2在自然语言生成方面取得了显著的突破，能够生成更长、更连贯、更有逻辑性的文本。GPT-3可以完成的复杂任务包括生成高质量的文章、对话和代码片段，甚至可以模拟不同风格和语气的文本。2021年，OpenAI推出了GPT-3的改进版本，即GPT-3.5 Turbo。这个版本相对于GPT-3来说在一些方面进行了优化，提供了更高的性能和更快的响应时间，同时保持了相似的生成能力。我们熟知的ChatGPT一开始就是基于这个版本的GPT发布的。

就在2023年3月，OpenAI推出了史上最强大的模型——GPT-4。它在文学、医学、法律、数学、物理和程序设计等不同领域表现出很高的熟练程度，各方面能力已全面超越ChatGPT。

GPT-4是第一个大规模的多模态模型，可以接受图像和文本输入，产生文本输出或图像输出，而且因为参数更大，预训练数据更多，得到的回答质量也更好。所谓参数，可以类比为人脑中的神经元。在人脑中，神经元是构成神经系统的基本单元，它们通过突触连接在一起形成复杂的神经网络，提出兴奋或抑制两种信号，就像数字世界中的0和1。同样地，在GPT模型中，参数也可以被视为神经元的权重和偏置等数值。在训练过程中，这些参数会不断调整以优化模型的性能，类似于人类大脑通过学习和经验不断调整神经元之间的连接方式来提高认知能力。书中给出的参数数据如下:

最初的GPT就有1.17亿个参数，ChatGPT有1750亿个参数，最新的GPT-4参数数量更多，有报道称可能达到1T（即10000亿），但OpenAI公司其实并没有公布具体的参数数量，这些拥有海量参数的模型都被称为“大模型”。

根据这几天的新闻，OpenAI正在开发GPT-5，据悉GPT-5和GPT-6将具备多模态输出能力，相比现有的GPT可靠性更高、个性化定制体验更好，具体多模态能力，有网友预测是能更好地完成如图像标注、视觉问答等任务。结合此前OpenAI CEO Sam Altman还暗示过GPT-5会具备语音识别、合成和情绪检测等新功能来看，GPT-5应该会具备“图文听说”等各种模态对齐的能力。好了，以上就是GPT相关的概念知识和发展简史，希望能让你对现在这门火爆的技术有个初步了解。欢迎大家留言探讨，共同学习进步。