零基础入门大语言模型：Transformer工作原理

最近正好有空，打算花点时间系统梳理这些年零零散散学到的AI知识，做一次全面的复盘与总结。 如果说上一章我们讨论的是……那么这一章的核心主题就是——

第三章 Transformer 到底是怎么工作的

很多介绍 Transformer 模型的文章，一上来就直接甩出下面这张公式图： image 看到这个，绝大多数读者估计直接就放弃了。 但说实话，即便完全不懂任何数学公式，也完全不影响我们理解 Transformer 的核心思想。这一章，我们不谈矩阵、向量运算这些复杂概念，而是用现实生活中的一个例子，把模型到底是怎么“思考”一段文字的原理讲清楚。

---

3.1 从一句话开始

假设我们给模型输入一句话： 然后问：…… 对人类来说，答案简单得不能再简单。 当然是：…… 但仔细想想，句子里其实根本没有写出：…… 那大脑又是怎么知道的？ 因为我们自动就会回头去看前面的内容。发现“他”和“小明”关系最紧密，于是自然就理解了“他”指的是谁。 Transformer 做的事情，本质上差不多。它也会回头看，不过不是只看一个词，而是扫描前面的所有 Token（词元）。

---

3.2 Transformer 为什么叫 Transformer？

很多人第一次看到 Transformer 这个词，第一反应都是：为什么叫这个名字？难道直译过来是“变形金刚”？（开个玩笑哈） 其实 Transformer 的中文翻译通常叫“转换器”。 为什么叫转换器？因为它会不停地把一串 Token，逐步转换成越来越丰富的语义表示。 举个例子。刚开始，模型看到“苹果”，只知道这是一个 Token。经过第一层，它开始知道这属于“水果”。再过几层，它明白这里说的是“苹果公司”。继续往下，上下文里出现了“iPhone”“Mac”“Apple Store”这些词，模型最终就确认了：这里的苹果，不是水果，而是 Apple 公司。 注意，Token 本身没变，变的是模型内部对这个词的理解。所以说，Transformer 真正转换的不是文字，而是每一个 Token 的语义表示。 那它是怎么转换的呢？下面我们一步步拆解。

---

3.3 第一步：Embedding（词嵌入）

上一节我们提到： 苹果 → Token ID → 31582 很多人会问：模型直接处理 31582 不行吗？ 答案是：不行。 为什么？因为 31582 只是个编号，这种编号太短，能存储的信息太少，能表示的语义也极其有限。而且，这些编号之间没有任何语义关系。比如： 苹果 → 31582 香蕉 → 712 北京 → 89231 从数字上看，31582 和 712 之间毫无关联。但我们人类知道，苹果和香蕉都属于水果，它们在语义上应该更接近才对。 所以，模型需要把 Token ID 变成一种新的表示——它就是 Embedding（词向量/嵌入表示）。 你可以把它理解成是给每个 Token 办了一张“身份证”。只不过这张身份证上不是姓名、住址、出生年月这些，而是一大串数字。比如： 苹果 → [0.13, -0.42, 0.78, ……] 在大模型里，一个 Token 可能有几千维这样的数字，它们共同描述了“苹果”这个词在语言世界里的位置。

---

3.4 为什么叫“向量空间”？

很多文章都会提到“向量空间”，听起来特别抽象。其实你可以把它想象成一张地图（当然，地图最多也就三维空间）。地图上每个 Token 都有自己的坐标。 image 当然，真正的大模型完全是几千维的，但原理一样：距离越近，语义越接近。 模型可能就会发现，“北京”“上海”“广州”在向量空间中离得很近，因为它们都是城市。而“Redis”“MySQL”“Kafka”也很近，因为它们作为技术中间件经常出现在同样的上下文里。 注意，模型并没有人告诉它 Redis 是数据库，它只是自己统计发现 Redis、Kafka、MySQL、Spring Boot 这些词经常一起出现。通过大量的训练和计算，这些 Token 在空间里就慢慢靠拢了。

---

3.5 Transformer 最重要的一步——Attention（注意力机制）

到这一步，模型已经拥有了每个 Token 的 Embedding。接下来，神奇的事情就发生了。 Transformer 会问：生成当前这个 Token 时，前面的哪些 Token 更重要？ 比如： “小明昨天去了北京。今天他回来了。他是谁？” 准备开始预测时，Transformer 会按 Token 依次计算： - “小明”重要吗？★★★★★ - “昨天”重要吗？★★ - “北京”重要吗？★★★ - “今天”重要吗？★★ 最终模型发现，和“他”关系最大的其实是“小明”。于是模型就知道，“他”大概率指的是小明。 这一步，就是 Transformer 最伟大的发明：Attention（注意力机制）。 很多人认为 Attention 就是让模型注意重点，其实更准确地说，Attention 做的是“动态信息加权”。后面一节，我们专门讲讲 Attention 到底是怎么工作的，以及它为什么彻底改变了自然语言处理的发展方向。

---

本章小结（第一部分）

这一部分，我们讲了三个关键概念： - Transformer 并不是直接处理文字，而是处理 Token 的语义表示。 - Embedding 不是普通编号，而是让语义相近的 Token 在高维空间中彼此靠近。 - Transformer 的核心思想不是死记硬背，而是在生成每一个 Token 时，动态决定应该重点关注前文中的哪些 Token。

---

说明

这里特意没讲 Q、K、V，也没提任何矩阵公式。因为咱们得先理解 Transformer 为什么需要 Embedding、为什么需要 Attention，然后才能去学它们是怎么实现的。 下一章我们开始深入 Transformer 的核心模块之一——Attention，会讲到 Q（Query）、K（Key）、V（Value）。到那时候，它们就不再是三个生硬的字母参数，而是三个非常好理解的角色。