大学生的 AI 通识课⑯｜大语言模型是如何炼成的：预训练、微调与对齐

来源：市场资讯

（来源：图灵人工智能）

转自Eureka Moments，仅用于学术分享，如有侵权留言删除报道

上一篇《Token 与 Embedding：AI 眼中的文字》讲清了：计算机只认识数字，而 Token 化与 Embedding 让文字先变成一串串“有含义的数字”。可这还只是把“原料”送进了模型。一个真正能听懂指令、有问必答、礼貌得体的 ChatGPT、DeepSeek，究竟是怎样一步步“炼”成的？这一篇，我们从一个连问题都答不对的模型说起。

开头：一个“答非所问”的模型

假设你拿到一个刚刚完成第一阶段训练的大模型，向它提问：

你：中国的首都是哪里？

它很可能会这样“回答”：

模型：美国的首都是哪里？日本的首都是哪里？英国的首都是哪里？……

它没有回答问题，而是接着出了一串题。

这并不是因为它不知道答案。恰恰相反，它“读”过的文字比任何人一辈子能读的都多。问题在于：在它读过的海量网页中，“中国的首都是哪里？”这句话后面，常常跟着的就是一串类似的题目——比如一份地理练习卷。它只是在做自己最擅长的事：续写。

从这样一个“只会续写”的模型，到今天能听懂指令、有问必答、礼貌得体的 ChatGPT、DeepSeek，中间究竟经历了什么？

这一篇，我们就来看看大语言模型是如何一步步“炼”成的。

一、先打个比方：培养一名医生

大模型的训练，可以类比为培养一名医生：

阶段

培养医生

训练大模型

第一阶段

大量阅读：从小学到大学，读遍各类书籍和医学教材，积累广博的知识

预训练

：阅读海量文本，学习语言和知识

第二阶段

临床实习：跟着带教老师，学习如何问诊、如何回答病人的问题

监督微调

：学习人类示范的问答，学会“如何回答问题”

第三阶段

职业素养：根据病人和上级的反馈不断改进，做到既专业又负责、有医德

对齐

：根据人类的偏好反馈，学会给出更有帮助、更安全的回答

接下来，我们一个阶段一个阶段地展开。

二、第一阶段：预训练——读遍“天下书”

核心任务：预测下一个词

上一篇讲过，大模型处理文字的基本方式是：根据前面的 Token，预测下一个 Token。

预训练做的就是这件事，只是规模极其庞大：把海量文本喂给模型，让它一遍又一遍地玩“文字接龙”。

床前明月光，疑是地上 → 霜
水的化学式是 → H₂O
def add(a, b): return → a + b

每猜一次，就把猜测和真实的下一个词进行比较，计算损失（第 8 篇），再通过反向传播（第 11 篇）调整参数。这正是第 5 篇讲过的自监督学习：不需要人工标注，文本本身就提供了答案。

为什么“接龙”能学到知识？

你可能会觉得，“预测下一个词”只是一个很简单的任务。但仔细想想，要想把“下一个词”猜得足够准，模型必须掌握大量的知识和能力：

要补全“水的化学式是”，它必须知道化学知识；

要补全“虽然今天下雨了，但是我”，它必须理解转折的逻辑；

要补全一段代码，它必须懂得编程规则；

有人打过这样一个比方：如果让模型读一部侦探小说，读到最后一页“凶手就是”时，要想猜对这个名字，它就必须理解前面所有的线索和推理。

说人话：为了把“接龙”玩到极致，模型被迫学会了语法、常识、知识，乃至一定的推理能力。

预训练的规模

预训练是整个过程中最“烧钱”的一步：

数据：来源包括网页、书籍、百科、新闻、学术论文、代码等。GPT-3（2020 年）训练时使用了约 3000 亿个 Token；而到了 2024 年，Meta 的 Llama 3 使用的训练数据已超过 15 万亿个 Token；

数据清洗：原始网页数据质量参差不齐，需要经过去重、过滤低质量和有害内容、去除个人隐私信息等大量处理。第 6 篇说过，数据的质量决定了模型的上限；

算力：往往需要成千上万块高端 GPU 连续运行数周到数月。据估计，训练一个顶尖大模型的成本可达数千万乃至上亿美元。

预训练的成果：基座模型

预训练结束后，我们得到了一个基座模型（Base Model）。它知识渊博、文笔流畅，但它只会续写，并不懂得“回答问题”——这就是开头那个“答非所问”的模型。

打个比方：基座模型就像一位读遍了图书馆、却从没和人交谈过的学者。他满腹经纶，但你问他问题，他可能只会自顾自地背诵书中的相关段落。

️ 三、第二阶段：监督微调——学会“好好说话”

由人类示范“标准答案”

为了让模型学会回答问题，研究者们请人编写了大量高质量的“问题—回答”示范：

问题：请用简单的语言解释什么是光合作用。
示范回答：光合作用是植物利用阳光、水和二氧化碳制造养分，同时释放氧气的过程。简单来说，就是植物用阳光“做饭”……

问题：帮我把这句话翻译成英文：“今天天气很好。”
示范回答：The weather is nice today.

然后，用这些示范数据继续训练基座模型。训练方式和预训练一样，仍然是“预测下一个词”，只不过现在学习的内容，变成了“面对一个问题，一个好的回答应该怎么写”。

这一步被称为监督微调（Supervised Fine-Tuning,SFT），也常被称为指令微调。之所以叫“监督”，是因为这些数据带有人工编写的“标准答案”（第 5 篇）；之所以叫“微调”，是因为它是在已有模型的基础上做小幅调整，而不是从头训练。

数据量不大，作用却很关键

与预训练动辄数万亿 Token 的数据相比，监督微调的数据量小得多，通常在数万到数十万条。比如，OpenAI 在 2022 年发表的 InstructGPT 论文中，用于监督微调的示范数据只有约 1.3 万条。

为什么这么少的数据就能起作用？一个普遍的观点是：模型的知识和能力，主要是在预训练中获得的；监督微调教会它的，主要是“如何把已有的知识，以人类期望的方式表达出来”。

打个比方：一个博学的人去参加面试，面试前只需要练习几十道模拟题，熟悉一下“问什么、怎么答”的格式就可以了，并不需要重新学习所有知识。

也正因如此，监督微调中数据的质量远比数量重要。几千条精心编写的示范，效果可能好过几十万条粗制滥造的数据。

⚖️ 四、第三阶段：对齐——从“会回答”到“答得好”

什么是“对齐”？

经过监督微调，模型已经能回答问题了。但“能回答”不等于“答得好”。比如：

它可能回答得正确，但啰嗦冗长、重点不清；

它可能一本正经地编造不存在的事实；

有人问“怎样制造危险物品”，它也可能“有问必答”。

所谓对齐（Alignment），就是让模型的行为与人类的期望和价值观保持一致。一个常被引用的目标概括是“3H 原则”：

有帮助（Helpful）：真正解决用户的问题；

诚实（Honest）：不编造、不误导，不知道就说不知道；

无害（Harmless）：不提供可能造成伤害的内容。

为什么不能继续“写示范”？

一个自然的想法是：继续请人编写更多、更好的示范回答不就行了？

问题在于：写出一个完美的回答很难，但判断两个回答哪个更好，却容易得多。

打个比方：大多数语文老师未必能每次都写出一篇满分作文，但他们都能准确地判断两篇作文中哪一篇写得更好。同样，你可能写不出一首好歌，但你一听就知道自己更喜欢哪一首。

于是，研究者们想到：不再让人“写答案”，而是让人“打分”。

RLHF：基于人类反馈的强化学习

这种方法叫作基于人类反馈的强化学习（Reinforcement Learning from Human Feedback,RLHF），它分为三步：

PLAINTEXT

第①步：收集人类偏好

同一个问题，让模型生成多个回答（A、B、C、D）

由人工标注员对这些回答进行排序：B > A > D > C

第②步：训练一个“评委”（奖励模型）

用大量的排序数据，训练一个专门给回答打分的模型

它学会了模仿人类的判断：好的回答打高分，差的回答打低分

第③步：强化学习

让大模型不断生成回答，由“评委”打分

大模型根据分数调整自己：得分高的回答方式被强化，得分低的被抑制

第③步正是第 5 篇讲过的强化学习：模型是“智能体”，“评委”给出的分数就是“奖励”。

打个比方：这就像体操比赛。人类专家先培养出一批专业裁判（奖励模型），然后运动员（大模型）不断练习、上场表演，根据裁判的打分不断改进动作。有了裁判，就不需要每一次表演都由专家亲自点评了。

在训练中还有一个细节：要限制模型不能偏离原来的状态太远。否则，模型可能会找到“讨好评委”的捷径——比如发现回答越长分数越高，就开始无休止地写废话。这和第 7 篇讲的“捷径学习”是同一类问题。

对齐的威力

RLHF 的效果有多显著？InstructGPT 论文中有一个令人印象深刻的结果：

在人类评估者看来，经过对齐训练的 13 亿参数的模型，其回答比未经对齐的 1750 亿参数的 GPT-3 更受欢迎。

参数少了一百多倍，却更受用户喜爱。 这说明，模型“知道多少”固然重要，“会不会好好回答”同样重要。几个月后，基于类似方法训练的 ChatGPT 问世，引爆了全球的 AI 热潮。

更简单的新方法

RLHF 效果好，但流程复杂、训练不太稳定。2023 年，研究者提出了一种更简洁的方法——直接偏好优化（DPO）。它跳过了“训练评委”这一步，直接利用“哪个回答更好”的偏好数据来调整模型，效果与 RLHF 相当，实现却简单得多，因而被广泛采用。

此外，还有研究尝试让 AI 根据一套预先写好的原则来评判回答，以减少对人工标注的依赖。

五、新趋势：让模型学会“思考”

近两年，大模型训练出现了一个重要的新方向：推理模型。

2024 年，OpenAI 发布了 o1 模型；2025 年初，中国公司深度求索发布了 DeepSeek-R1，并公开了技术细节，引起了全球关注。这类模型在回答之前，会先进行一段较长的“思考“，一步步分析问题、尝试解法、检查错误，然后再给出答案。

它们的关键训练方法仍然是强化学习，但“评委”换了：对于数学题和编程题这类答案可以被验证的任务，不再需要人类打分，而是直接检查最终答案是否正确、代码能否通过测试。

DeepSeek-R1 的论文报告了一个有趣的现象：在强化学习的过程中，即使没有人教它，模型也自发地学会了延长思考过程、反思和检查自己的解题步骤，甚至会在推理中途写出类似“等等，我重新检查一下”这样的话。研究者将其称为模型的“顿悟时刻”（aha moment）。

关于如何让模型“一步步思考”，我们将在第 18 篇《提示词工程与思维链》中进一步介绍。

六、全流程回顾

PLAINTEXT

海量文本（数万亿 Token）

┌─────────────────────────┐

│ ① 预训练：文字接龙 │ → 基座模型：知识渊博，但只会续写

└─────────────────────────┘

↓ + 人工编写的示范问答（数万条）

┌─────────────────────────┐

│ ② 监督微调：模仿示范 │ → 能听懂指令、回答问题

└─────────────────────────┘

↓ + 人类偏好 / 可验证的答案

┌─────────────────────────┐

│ ③ 对齐与强化学习 │ → 回答更有帮助、更诚实、更安全，更会推理

└─────────────────────────┘

安全评测后，正式发布

预训练

监督微调

对齐（RLHF 等）

学习方式

自监督学习

监督学习

强化学习 / 偏好学习

数据

海量网页、书籍、代码

人工编写的示范问答

人类对回答的排序 / 可验证的答案

数据规模

数万亿 Token

数万到数十万条

数万到数百万条

学到什么

知识和语言能力

回答问题的方式

人类的偏好和价值观

成本

极高

较低

中等

类比

读遍天下书

跟着老师做例题

根据反馈不断改进

还记得第 5 篇中的那句话吗？“自监督预训练 → 监督微调 → 强化学习“——三种学习方式，在大模型的训练中完美地组合在了一起。

⚠️ 七、几个常见的误解

误解一：“大模型回答问题，是在数据库里查找答案”

不是。大模型并没有把训练数据原封不动地存储起来以供检索。它的“知识”分散地“压缩”在数以亿计的参数之中。回答问题时，它是根据学到的规律一个词一个词地生成答案，而不是“搜索”答案。这也是它有时会“编造”内容的原因之一（第 19 篇《AI 幻觉》会详细讨论）。

误解二：“大模型每天都在从用户的对话中学习”

一般来说，模型训练完成、正式发布以后，它的参数就固定下来了，不会因为和你聊天而实时改变。模型的知识停留在训练数据截止的时间点，这被称为“知识截止日期“。如果想让模型知道最新的信息，就需要借助联网搜索或外部知识库（第 20 篇会介绍 RAG 技术）。

误解三：“对齐之后，模型就绝对安全了”

对齐大大提高了模型的安全性，但并不能做到万无一失。有人会精心设计各种提问方式，试图绕过模型的安全限制，这被称为“越狱“。如何让 AI 更加安全可靠，是一个仍在持续研究的课题（第 23 篇《AI 安全与对齐》会进一步讨论）。

一句话总结

大语言模型的炼成分为三步：通过预训练“读遍天下书”获得知识，通过监督微调学会“好好回答问题”，再通过基于人类反馈的强化学习等方法，让回答更符合人类的期望——知识来自预训练，“情商”来自微调与对齐。

思考题

1.

为什么说“判断两个回答哪个更好”比“写出一个好回答”更容易？在你的学习和生活中，还有哪些类似的例子？

2.

RLHF 中的“评委”是模仿人类标注员的偏好训练出来的。如果标注员群体的构成不够多元（比如年龄、地区、文化背景比较单一），可能会对模型产生什么影响？

欢迎在留言区分享你的答案！

Long Ouyang et al., Training Language Models to Follow Instructions with Human Feedback, 2022.（InstructGPT 论文，RLHF 的经典之作）

DeepSeek-AI, DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, 2025.

安德烈·卡帕西（Andrej Karpathy），视频《Deep Dive into LLMs like ChatGPT》，2025（深入浅出地讲解大模型的完整训练流程，B 站有中文字幕版）

赵鑫、李军毅、周昆、唐天一、文继荣，《大语言模型》（中国人民大学团队编写的中文教材，系统全面，网上有开放电子版）

下期预告：为什么大模型越做越大？参数翻十倍，能力就会提升吗？第 17 篇《Scaling Law：大力真的能出奇迹吗？》将带你了解大模型背后的“规模法则”，以及让研究者们既兴奋又困惑的“涌现能力”。