东成西就话“蒸馏”，聊聊能力学习与技术普惠的边界

来源：滚动播报

（来源：国际商报）

模型蒸馏，是用一个模型提供的答案、解题步骤或评价结果，训练另一个模型。提供材料的是“教师模型”，接受训练的是“学生模型”。学生通过训练学习教师的部分能力，改善自身表现。作为一种中性的机器学习方法，蒸馏既有助于提高人工智能的开发和应用效率，也为更多企业和国家参与模型开发提供了机会。

蒸馏怎样让模型学习能力

以数学解题为例，开发者可以让教师模型回答一批问题，将核验过的答案和解题步骤整理成训练材料，用于训练学生模型。学生根据这些示例调整自身参数，学习怎样分解问题、组织推导和检查答案。训练完成后，还要用新的题目测试，检验它能否处理同类问题。

在这种以输出为材料的蒸馏中，学生模型通过自身训练获得能力，并不逐项复制教师模型的权重文件。学生能学到什么、学到什么程度，取决于原有基础、样本质量、任务覆盖和训练方法。开发者仍要设计任务、筛选材料、组织训练和评估结果。蒸馏因此也是一项需要技术投入的研发活动。

早期蒸馏主要把大型模型的部分能力迁移到较小模型，以降低部署成本。随着大语言模型发展，学习对象扩展到指令遵循、代码生成、工具使用和评价判断。教师既可以示范怎样作答，也可以比较不同答案，给出评价。蒸馏由此既能用于模型压缩，也能帮助模型形成适合特定任务的能力。

因此，本质上蒸馏描述的是模型怎样学习。企业优化自有产品、研究机构开展实验、不同企业合作开发，都可以采用同一种方法。训练规模、竞争关系和使用者国别，不会改变这一技术原理。

让已有能力得到更高效的利用

大型模型能处理广泛任务，但在文本分类、信息提取或固定业务流程中，企业往往更需要成本可控、响应及时、表现稳定的专用模型。通过蒸馏，把完成这些任务所需的能力迁移到较小模型，可以减少运行开支，让更多用户承担得起使用成本。

前沿模型企业也在推动蒸馏的应用。其实，OpenAI于2024年推出模型蒸馏工作流，帮助开发者利用较强模型的输出，在其平台内微调较小模型。领先企业与其他开发者都可以用这类方法改善产品在特定任务上的表现。

蒸馏还可以提高训练数据的生产效率。教师模型生成答案、解释和评价，开发者结合规则验证与专家审核，将这些材料整理成适合目标任务的样本。有限的人工投入由此可以更多用于确定专业要求、核验关键内容和处理困难案例。数据质量、任务设计和行业理解，也成为开发者竞争的内容，中小企业和专业团队可以围绕这些环节参与模型开发。

安全能力同样可以通过蒸馏学习。开发者可以把风险识别、危险请求拒答、隐私内容过滤等纳入训练目标，再通过后续测试检验效果。将这些能力迁移到运行成本较低的模型，有助于让更多场景用上安全工具。

帮助更多国家积累开发能力

蒸馏有助于降低参与人工智能开发的门槛。资源有限的国家可以从本国产业和公共服务的具体需求入手，由本地团队利用已有模型和经过筛选的教师样本开展训练。团队在解决具体问题的过程中，也能逐步积累研发经验。

首先，模型可以更贴近本地需求。各国的语言、行业流程和公共服务制度不同。以面向当地农民的信息服务为例，模型既要理解他们使用的语言，也要提供符合当地生产条件的专业内容。本地团队可以组织专家确定任务、准备资料和评价标准，再结合教师模型生成的样本开展训练，把通用能力与本地知识结合起来。

其次，本地团队可以获得更多自主部署和持续改进的机会。将蒸馏与开放模型、本地部署结合，部分应用可以减少对大型计算设施的依赖，也可以减少持续调用境外服务的需要。这对网络条件有限、运行预算紧张的机构更有价值。当地团队还可以根据实际使用反馈调整模型，不必把每项改进都交给外部平台决定。

更长远的收益，是人才和组织能力的积累。团队参与样本设计、训练、测试和部署，就有机会逐步掌握模型开发流程。国际合作如果把教师模型、训练方法、评测工具与人员培训结合起来，就能帮助合作方形成持续解决问题的能力。技术普惠应当包括参与研发、改进产品和自主选择的机会。

模型之间的能力学习，也可以跨国、双向进行。英伟达公开的数学训练数据集中，就包含DeepSeek-R1生成的样本。不同国家的模型可以在不同任务上提供有价值的训练材料，供其他团队继续开发和改进模型。开放模型和明确的许可安排，有助于更多团队利用蒸馏开展合作。

当然，对蒸馏的治理，应当保护具体、确定的法定权利和利益。应当根据具体行为和证据认定违法责任，同时为合法学习、开放合作和竞争性创新提供稳定空间。所以，评价这项技术，不能只看少数企业能否维持领先地位，还要考虑其降低使用成本、扩大研发参与的价值。

人工智能的进步，既体现在前沿模型能完成更复杂的任务，也体现在更多国家、企业和公众能够使用并发展这项技术。蒸馏提供了一条以较低成本学习、调整和应用已有能力的路径。保留这条路径，有助于让更多团队参与人工智能开发，并让技术进步产生更广泛的社会收益。

作者系北京理工大学法学院教授