AI 术语通俗词典：蒸馏

蒸馏是深度学习、大模型压缩、模型部署、知识迁移和生成式人工智能中常见的一个术语，英文通常称为 Distillation 或 Knowledge Distillation，即“知识蒸馏”。它用来描述一种让小模型学习大模型能力的方法。换句话说，蒸馏是在回答：如何把一个大模型中学到的知识，迁移到一个更小、更快、更便宜的模型中。

如果说大模型像一位能力很强但成本较高的老师，那么小模型就像一位更轻量的学生。蒸馏的核心思想是：不只让学生模型学习训练数据中的标准答案，还让它学习教师模型的输出分布、判断方式、推理倾向或中间表示。

因此，蒸馏常用于模型压缩、移动端部署、边缘计算、低延迟推理、小模型训练、专用任务模型、大语言模型微调和多模态模型优化中，是理解“如何让小模型继承大模型能力”的重要基础概念。

一、基本概念：什么是蒸馏

蒸馏（Distillation）是指用一个较大的教师模型指导一个较小的学生模型训练。

典型流程可以概括为：教师模型 → 产生软标签或中间知识 → 学生模型学习 → 得到轻量模型。

图 1：蒸馏的基本思想

例如，在图像分类任务中，标准标签可能只告诉模型：

这张图是猫。

但教师模型可能输出更细的信息：

其他：0.02

这类概率分布被称为“软标签”。

软标签比硬标签包含更多信息。它不仅告诉学生模型“正确答案是猫”，还告诉它“这张图和狗、狐狸也有一点相似，但和汽车差别很大”。

从通俗角度看：普通训练只告诉学生“标准答案是什么”。蒸馏训练还告诉学生“老师为什么更倾向于这个答案”。

二、为什么需要蒸馏

蒸馏之所以重要，是因为大模型虽然能力强，但使用成本也高。

大模型通常存在以下问题：

• 参数量大

• 推理速度慢

• 显存占用高

• 部署成本高

• 不适合移动端或边缘设备

• 在高并发场景中成本较高

例如，一个大语言模型可能在理解、生成和推理方面效果很好，但如果每次请求都调用大模型，成本和延迟可能难以接受。

这时，可以用大模型生成训练信号，让小模型学习特定任务。

例如：

• 用大模型生成分类标注，训练小分类模型

• 用大模型生成问答样本，训练专用问答模型

• 用大模型生成推理步骤，训练小模型模仿解题方式

• 用大模型输出结果，训练小模型在本地快速推理

从通俗角度看：蒸馏的目标不是让小模型完全复制大模型，而是让小模型在重要任务上尽量接近大模型，同时更快、更省、更容易部署。

三、蒸馏学习什么

蒸馏并不只有一种形式。学生模型可以学习教师模型的不同“知识”。

图 2：知识蒸馏过程概览

1、学习软标签

最常见的是学习教师模型输出的概率分布。

普通监督学习通常使用硬标签：

正确类别：猫

蒸馏可以使用软标签：

猫 0.82，狗 0.10，狐狸 0.05……

软标签包含类别之间的相似关系，因此更有指导价值。

例如，“猫”和“狗”都属于动物，比“猫”和“汽车”更接近。教师模型的概率分布可以把这种关系传递给学生模型。

2、学习中间表示

有些蒸馏方法会让学生模型学习教师模型的中间层表示。

例如：

• 隐藏层向量

• 注意力权重

• 特征图

• token 表示

• 图像特征

这种方式不只模仿最终答案，还模仿教师模型处理信息的过程。

3、学习生成结果

在大语言模型中，学生模型也可以学习教师模型生成的回答。

例如：问题 → 教师模型回答 → 学生模型学习回答风格和任务模式。

这种方式常用于指令微调、小模型训练和专用领域模型构建。

4、学习推理过程

对于复杂任务，教师模型还可以生成中间推理步骤，让学生模型学习更清晰的解题路径。

不过，推理过程蒸馏需要谨慎。错误推理也可能被学生模型学到，因此需要筛选和验证数据质量。

四、蒸馏的基本目标

蒸馏训练通常希望学生模型输出接近教师模型输出。

图 3：蒸馏训练流程与损失分析

如果教师模型输出的概率分布为 q，学生模型输出的概率分布为 p，可以让学生模型尽量接近 q。

常见思想可以写为：

其中：

• L_distill 表示蒸馏损失

• q 表示教师模型输出分布

• p 表示学生模型输出分布

• D 表示分布之间的差异度量

在实际训练中，也常把真实标签损失和蒸馏损失结合起来：

其中：

• L 表示总损失

• L_hard 表示学生模型对真实标签的监督学习损失

• L_distill 表示学生模型模仿教师模型的损失

• α 表示两类损失的权重

从通俗角度看：学生模型既要学习标准答案，也要学习教师模型的判断习惯。

五、蒸馏与微调、量化的区别

蒸馏常与微调、量化一起出现，但它们不是同一件事。

1、蒸馏

蒸馏关注的是：让小模型学习大模型的能力。

它通常涉及教师模型和学生模型。

2、微调

微调关注的是：让已有模型适应某个具体任务或领域。

例如，在法律问答数据上微调模型，使它更适合法律场景。

微调不一定涉及教师模型。

3、量化

量化关注的是：用更低精度保存和计算模型参数。

例如，把 FP16 参数压缩为 INT8 或 INT4，以减少显存和提高推理效率。

量化通常不改变模型结构，也不一定重新训练模型。

4、三者关系

可以概括为：

• 蒸馏：换成更小学生模型

• 微调：让模型适应任务

• 量化：让模型存储和计算更省

在实际部署中，三者可以结合使用。

例如：先用大模型蒸馏出小模型，再在业务数据上微调，最后进行量化部署。

六、蒸馏在大模型中的应用

在大语言模型时代，蒸馏的应用更加广泛。

1、训练专用小模型

如果某个任务比较固定，例如客服分类、合同条款识别、商品标题改写，可以用大模型生成大量高质量样本，再训练一个小模型完成该任务。

这样可以降低在线推理成本。

2、压缩通用能力

一些小语言模型会通过学习大模型生成的数据，获得较好的指令理解和问答能力。

这种方式不能完全复制大模型能力，但可以显著提升小模型表现。

3、构建领域模型

在医疗、法律、金融、教育等领域，可以用强模型生成或筛选领域样本，再训练较小的领域模型。

不过，高风险领域必须进行专家审核，不能完全依赖教师模型生成内容。

4、提升部署效率

蒸馏后的小模型可以用于：

• 本地部署

• 移动端应用

• 低延迟服务

• 高并发场景

• 企业私有化部署

• 边缘设备推理

从实践角度看，蒸馏是大模型能力工程化落地的重要方法之一。

七、蒸馏的优势、局限与常见误解

1、蒸馏的主要优势

蒸馏最大的优势是让小模型获得接近大模型的任务能力，同时降低成本。

它可以带来：

• 更快推理速度

• 更低显存占用

• 更低部署成本

• 更适合本地运行

• 更适合专用任务

• 更容易上线到资源受限设备

从通俗角度看：蒸馏让“大模型做老师，小模型学本领”。

2、蒸馏的主要局限

蒸馏也有明显局限。

首先，学生模型容量有限，不可能完整继承教师模型所有能力。

其次，教师模型如果输出错误，学生模型也可能学习错误。

再次，蒸馏效果依赖训练数据质量。如果蒸馏数据覆盖不充分，小模型在新任务上可能表现差。

此外，蒸馏后的模型通常更适合特定任务，不一定拥有教师模型同样的泛化能力。

3、常见误解

误解一：蒸馏后的小模型一定和大模型一样强。

不对。小模型通常只能在部分任务上接近教师模型。

误解二：蒸馏只是压缩参数。

不准确。蒸馏不是简单删除参数，而是通过训练迁移教师模型的行为和知识。

误解三：教师模型越大，蒸馏效果一定越好。

不一定。教师模型质量、任务匹配程度、数据质量和学生模型容量都很重要。

误解四：蒸馏可以替代所有部署优化。

不对。实际部署还可能需要量化、剪枝、缓存、并行和工程优化。

八、如何理解蒸馏的应用价值

蒸馏的核心价值是“能力迁移”。它不是为了证明小模型一定比大模型好，而是为了在效果、速度、成本和部署条件之间取得平衡。

在 AI 系统中，可以这样理解：

• 大模型负责提供强能力和高质量示范

• 小模型负责在具体场景中高效执行

例如：

• 大模型用于生成训练数据

• 小模型用于线上高频调用

• 大模型用于复杂问题兜底

• 小模型用于低成本常规任务

这种组合方式可以让系统既有较强能力，又能控制成本。

从实践角度看，蒸馏适合那些任务边界较清楚、数据可构造、输出可验证、部署成本敏感的场景。

九、Python 示例

下面用简化示例说明蒸馏的基本思想。

示例 1：教师模型输出软标签

软标签比“猫”这个硬标签包含更多类别关系信息。

示例 2：学生模型学习教师输出

蒸馏训练的目标，就是让学生模型的输出分布逐渐接近教师模型。

示例 3：真实标签与蒸馏信号结合

这个例子说明：学生模型可以同时学习真实标签和教师模型的软标签。

示例 4：蒸馏数据样本

在大模型蒸馏中，教师模型可以提供答案，也可以提供简短解释或结构化输出。

小结

蒸馏是一种让小模型学习大模型能力的训练方法。它通过教师模型提供软标签、中间表示、生成结果或推理过程，让学生模型在较低成本下获得较好的任务表现。蒸馏不能让小模型完全复制大模型，但可以显著提升小模型在特定任务中的效果。对初学者而言，可以把蒸馏理解为：用大模型当老师，把有用能力迁移给更轻量的学生模型。

“点赞有美意，赞赏是鼓励”