【每日一学 20261103】《程序员生存手册》——GPT背后的运作逻辑

2026-11-03 15:33:00
蓉蓉
原创
12


1.Generative

Generative指这个模型具备生成自然语言文本的功能。也就是说，这个模型能够生成一段内容，还能让我们看懂。例如给它几个关键词，它能通过这些关键词自动生成一段话或者一篇文章。
有人可能会提出疑问：“狗屁不通的文章生成器’所生成的内容，我们也能够阅读，那么它与GPT有何本质区别?”其实，“狗屁不通的文章生成器”仅是一个文本生成工具，其对文本的连贯性和意义要求较低；而GPT则是基于深度学习技术构建的高级语言模型，所生成的内容不仅具有较高的连贯性和逻辑性，而且在可读性方面也表现出色。因此，即便不讨论GPT生成的内容能否解决实际问题，单从文本的合理性和流畅度来看，两者之间存在着明显差异。

2.Pre-trained

“Pre-trained”意为“预先训练好的”。一般来讲，要应用GPT，需要先将大量的文本数据输入模型中进行训练，让模型在一定程度上掌握语言的语法规则和表达方式，而这个提前输入文本数据进行训练的过程就被称为“预训练”。

3.Transformer

Transformer是谷歌（Google）的研究者在论文“Attention Is All You Need”中提出的概念，我们可以先将它简单理解为“转换器”。Transformer的基本原理是编码（Encoder）和解码（Decoder），也就是先将输入的内容转换为计算机能理解的内容，再将计算机理解的内容转换为人类能理解的内容。


但在语言转化的过程中，会出现一个问题：歧义。不止大模型会产生歧义，就连我们人类在交流中也会出现很多歧义，如“我买了一斤苹果”和“我买了个苹果新产品”，同样是“苹果”，我们是如何判断这两句中的“苹果”指的是某种水果还是某个电子设备的呢?


答案没什么争议：结合“一斤”和“新产品”两个词就能确定不同上下文中的“苹果”代表的具体含义。而GPT能够理解我们输入的内容，关键也在于此。Transformer在编码和解码的基础上，引入了“多头注意力”（Multi-headed Attention）的概念。多头注意力能让模型在处理输入、输出的内容时，更关注内容中的某个或某几个词，并对它们进行加权处理，从而推断其准确含义，实现上下文学习。


GPT就是通过这种不断地“输入一匹配一选择一输出一再输入”的过程，和我们进行问答交互的。而我们熟知的ChatGPT是基于GPT模型调整而成的对话生成模型，本质上，两者的工作原理是相同的。



来源：《程序员生存手册》

发表评论
通过审核后显示您的意见