图解Transformer架构如何驱动大语言模型

当我们与ChatGPT、Gemini、Deepseek这些大语言模型互动时，实际上正在见证一个与人类说话方式完全不同的过程。

我们会自然地先构思想法，然后再把想法转化成文字，而AI模型采用的是一种循环转换的机制。通过理解这个过程，可以帮助我们看清这些强大系统究竟能做什么。

核心架构：Transformer到底是什么

大多数大语言模型的核心，都藏着一个叫做「Transformer」的架构。

这个架构是在2017年由Google提出的，当时一篇名为《Attention Is All You Need》的论文彻底改变了AI领域。

Transformer本质上是一个序列预测算法，由多层神经网络组成。

这个架构有三个关键组成部分：
「嵌入层」：负责把文字转换成数字表示。
「Transformer层」：这是实际进行计算的地方，通常有几十层甚至上百层。
「输出层」：把计算结果再转换回文字。

Transformer能同时处理所有词语，而不是逐个处理。这就是为什么它能从海量的文本数据中学习，并捕捉到词语之间复杂的关系。

这种「并行处理」的能力是它比循环神经网络（RNN）厉害得多的根本原因。

接下来，我们将逐步了解Transformer架构的工作原理。

1. 从文本到词元（Token）

在任何计算发生之前，模型首先必须把文本转换成它能处理的形式。这一步叫做「分词」，就是先把文本拆解成最基本的单元：词元（Token）。

词元不一定是完整的单词，它们可能是子词、词片段，甚至单个字符。

例如："I love transformers!"

分词器可能将其分解为：["I", " love", " transform", "ers", "!"].

（在这里"transformers"变成了两个独立的词元。）

每个词元都被分配一个唯一的整数ID，比如：

• "I" 可能是词元 150
• "love" 可能是词元 8942
• "transform" 可能是词元 3301
• "ers" 可能是词元 1847
• "!" 可能是词元 254

这些ID是任意分配的，之间并没有内在联系。

150和151这两个词元，并不因为数字接近就表示它们相似。

整个词表通常包含5万到10万个不同的词元，这些是在模型训练过程中学习到的。

2. 将词元转换为嵌入向量

神经网络无法直接处理词元ID，因为它们只是固定标识符。

每个词元ID被映射到一个向量，一个包含数百或数千维连续数字的列表，这些被称为嵌入向量。

为了更直观地理解，我们看一个简化版的例子。

假设我们使用5个维度（真实模型可能使用768到4096个维度）：

• 词元 "dog" 变为 [0.23, -0.67, 0.45, 0.89, -0.12]
• 词元 "wolf" 变为 [0.25, -0.65, 0.47, 0.91, -0.10]
• 词元 "car" 变为 [-0.82, 0.34, -0.56, 0.12, 0.78]

注意"dog"和"wolf"有相似的数字，而"car"完全不同。这创建了一个语义空间，相关概念聚集在一起。

为什么需要多维？

因为如果每个词只有一个数字，我们可能会遇到矛盾。例如：

• "stock" 等于 5.2（金融术语）
• "capital" 等于 5.3（相似的金融术语）
• "rare" 等于 -5.2（反义词：罕见）
• "debt" 等于 -5.3（capital的反义词）

现在，"rare"和"debt"都有相似的负值，暗示它们是相关的，这说不通。数百维允许模型表示复杂的关系而不产生这种矛盾。

在这个空间中，我们可以进行数学运算。"king"的嵌入向量减去"man"加上"woman"约等于"queen"。这些关系是在训练过程中从文本数据的模式中涌现出来的。

3. 添加位置信息

Transformer本身并不理解词语顺序。如果没有额外信息，"The dog chased the cat"和"The cat chased the dog"看起来是一样的，因为它们包含相同的词元。

通过添加位置信息可以解决这个问题。每个位置被映射到一个位置向量，就像词元被映射到语义向量一样。

这就像给每个单词贴上一个"序号标签"，有了这个标签，模型知道哪个词先出来，哪个词后出来。

对于出现在位置2的词元"dog"，它可能看起来像这样：

• 词元嵌入向量: [0.23, -0.67, 0.45, 0.89, -0.12]
• 位置2嵌入向量: [0.05, 0.12, -0.08, 0.03, 0.02]
• 组合（逐元素相加）: [0.28, -0.55, 0.37, 0.92, -0.10]

这个组合嵌入捕捉了词语的含义及其使用上下文。这也就是流入Transformer层的内容。

4. Transformer层中的注意力机制

Transformer层实现了注意力机制，这是使这些模型如此强大的关键创新。

每个Transformer层对每个词元使用三个组件进行操作：查询（Query）、键（Key）和值（Value）。

我们可以将其视为模糊字典查找，其中模型将正在寻找的内容（查询）与所有可能的答案（键）进行比较，并返回对应值的加权组合。

例如："The cat sat on the mat because it was comfortable."

当模型处理"it"这个词时，它需要确定"it"指的是什么。

以下是发生的过程：

首先，"it"的嵌入向量生成一个查询向量，本质上是在问："我在指代什么名词？"

接下来，这个查询与所有先前词元的键进行比较。每次比较产生一个相似度分数。例如：

• "The"（冠词）产生分数：0.05
• "cat"（名词）产生分数：8.3
• "sat"（动词）产生分数：0.2
• "on"（介词）产生分数：0.03
• "the"（冠词）产生分数：0.04
• "mat"（名词）产生分数：4.1
• "because"（连词）产生分数：0.1

然后，原始分数被转换为加起来等于1.0的注意力权重。例如：

• "cat"获得注意力权重：0.75（75%）
• "mat"获得注意力权重：0.20（20%）
• 所有其他词元：0.05总计（5%合计）

最后，模型从每个词元中获取值向量，并使用这些权重组合它们。例如：

输出 = (0.75 × Value_cat) + (0.20 × Value_mat) + (0.03 × Value_the) + ...

"cat"的值贡献了75%的输出，"mat"贡献了20%，其他几乎被忽略。这个加权组合成为"it"的新表示，捕捉了上下文理解，即"it"最可能指的是"cat"。

这个注意力过程发生在每个Transformer层中，但每个层学习检测不同的模式。

• 「早期层」：学习基本模式，如语法和常见词对。处理"cat"时，这些层可能会大量关注"The"，因为它们学习到冠词与其名词是相关的。
• 「中间层」：学习句子结构和短语之间的关系。它们可能会弄清楚"cat"是"sat"的主语，而"on the mat"是表示位置的关系短语。
• 「深层」：提取抽象含义。它们可能会理解这个句子描述了一个物理情境，并暗示猫是舒适的。

每层逐步精炼表示。一层的输出成为下一层的输入，每层添加更多上下文理解。只有最后的Transformer层需要预测实际的词元。

所有中间层执行相同的注意力操作，但只是将表示转换为对下游层更有用的表示。中间层不会输出词元预测，而是输出流向下一层的精炼向量表示。

这种堆叠许多层、每层专门处理语言不同方面的方式，正是让大语言模型能够捕捉复杂模式并生成连贯文本的原因。

5. 转换回文本

在流经所有层之后，最终向量必须被转换回文本。反嵌入层将该向量与每个词元嵌入进行比较并产生分数。

例如，要完成"I love to eat"，反嵌入可能产生：

• "pizza": 65.2
• "tacos": 64.8
• "sushi": 64.1
• "food": 58.3
• "barbeque": 57.9
• "car": -12.4
• "42": -45.8

这些任意分数使用softmax转换为概率：

• "pizza": 28.3%
• "tacos": 24.1%
• "sushi": 18.9%
• "food": 7.2%
• "barbeque": 6.1%
• "car": 0.0001%
• "42": 0.0000001%

具有相似分数（65.2对64.8）的词元获得相似的概率（28.3%对24.1%），而低分词元获得接近零的概率。

模型不是直接选概率最高的那个！它是在转一个"概率轮盘"，每个词元占一块，概率大的占得大，概率小的占得小。这样它有时候会选"tacos"而不是"pizza"，让输出多一点变化和惊喜。如果你每次都选最高的，那AI说话就会变得很机械、很无聊。

这种随机性的原因是，总是选择特定值（如"pizza"）会产生重复、不自然的输出。按概率加权的随机采样允许选择"tacos"、"sushi"或"barbeque"，产生多样、自然的响应。偶尔会选择低概率的词元，带来有创造性的输出。

6. 迭代生成循环

生成过程对每个词元都会重复。

让我们再看一个例子，输入提示词："The capital of France"。

「第一轮：」

• 输入：["The", "capital", "of", "France"]
• 通过所有层处理
• 采样："is" (80%)
• 输出："The capital of France is"

「第二轮：」

• 输入：["The", "capital", "of", "France", "is"]（包含新词元）
• 通过所有层处理（现在是5个词元）
• 采样："Paris" (92%)
• 输出："The capital of France is Paris"

「第三轮：」

• 输入：["The", "capital", "of", "France", "is", "Paris"]（6个词元）
• 通过所有层处理
• 采样："." (65%)
• 输出："The capital of France is Paris."

「第四轮：」

• 输入：["The", "capital", "of", "France", "is", "Paris", "."]（7个词元）
• 通过所有层处理
• 采样：[EoS]词元 (88%)
• 停止循环

「最终输出：」"The capital of France is Paris."

[EoS]或序列结束词元表示完成。每一轮都处理所有之前的词元。这就是为什么生成时间会随着回答变长而变慢。

这被称为「自回归生成」，因为每个输出都依赖于所有先前的输出。

如果选择了不寻常的词元，所有后续词元都将受到此选择的影响。

7. 训练与推理：两种不同模式

Transformer流程在两种情况中运行：「训练」和「推理」。

在「训练」期间，模型从数十亿文本示例中学习语言模式。它从随机权重开始，并逐渐调整它们。
以下是训练的工作方式：

「训练文本：」"The cat sat on the mat."

「模型接收：」"The cat sat on the"

使用随机初始权重，模型可能预测：

• "banana": 25%
• "car": 22%
• "mat": 3%（正确答案概率低）
• "elephant": 18%

训练过程计算误差（mat应该更高）并使用反向传播调整每个权重：

• "on"和"the"的嵌入向量被调整
• 所有96层中的注意力权重被调整
• 反嵌入层被调整

每次调整都很微小（0.245到0.247），但它在数十亿个示例中累积。在不同情境中看到"sat on the"后面跟着"mat"数千次后，模型学习了这个模式。训练需要数千个GPU运行数周，成本数百万美元。完成后，权重被冻结。

在「推理」期间，Transformer使用冻结的权重运行：

「用户输入：」"The cat sat on the"

模型使用其学习到的权重处理输入并输出："mat" (85%), "floor" (8%), "chair" (3%)。它采样"mat"并返回它。不发生权重变化。

模型使用了它学到的知识，但没有学到任何新东西。对话不会更新模型权重。

要教给模型新信息，我们需要用新数据重新训练它，这需要大量计算资源。

总结

Transformer架构为理解和生成人类语言提供了一个优雅的解决方案。

通过将文本转换为数字表示，使用注意力机制捕捉词元之间的关系，并堆叠许多层来学习越来越抽象的模式，Transformer使大语言模型能够产生连贯且有用的文本。

这个过程涉及七个关键步骤，每个生成的词元都会重复：分词、创建词嵌入、位置编码、通过带注意力机制的Transformer层处理、转换为分数、按概率采样、再解码回文本。每一步都建立在前一步的基础上，将原始文本转换为模型可以操作的数学表示，然后再转换回人类可读的输出。

本质上，大语言模型是复杂的模式匹配机器，它们根据从海量数据集中学习到的模式，预测最可能的下一个词元。

AI并不"理解"我们在说什么，它只是在玩一个高级的猜词游戏。

根据它以前看过的海量文本，它能猜到下一个最可能出现的词是什么。这就是为什么它有时候会说出很有道理的话，有时候又会胡说八道。毕竟，它只是在统计概率，而不是真的有想法。

不过即便如此，这个架构已经非常了不起了，不是吗？

感谢阅读。