中科大与阿里通义实验室：揭秘大语言模型训练中"熵动力学"密码

这项由中国科学技术大学和阿里巴巴通义实验室共同开展的研究于2025年发表，研究编号为arXiv:2602.03392v1，为理解大语言模型强化学习微调过程中的熵动力学提供了重要的理论框架。

一、初识"熵"这个神秘概念

当我们训练一个大语言模型时，就像是在教一个聪明的学生如何更好地回答问题。在这个过程中，有一个叫做"熵"的概念扮演着关键角色。熵听起来很学术，但其实可以理解为模型回答问题时的"创造性程度"。

回到一个具体场景：假设你问一个刚开始学习的模型"天空是什么颜色的？"，一开始它可能会给出各种各样的答案——蓝色、红色、绿色、紫色等等，这时候它的"创造性"很高，也就是熵很高。经过训练后，它学会了大多数情况下应该回答"蓝色"，这时它的答案变得更加确定，创造性降低了，熵也就降低了。

研究团队发现，在强化学习微调过程中，模型的熵变化遵循着一定的规律，就像水从高处流向低处一样自然而必然。他们观察到一个普遍现象：当模型接受强化学习训练时，它往往会快速失去创造性，变得过于"保守"，总是给出最安全、最常见的答案。这就像一个原本富有想象力的学生，经过应试教育后变得只会标准答案一样。

这种现象并非偶然。研究团队通过深入分析发现，模型在训练过程中会逐渐偏向于产生高概率的"安全"回答，因为这样做更容易获得奖励。然而，这种趋势如果不加控制，会导致模型失去探索新答案的能力，最终变得创造力匮乏。就好比一个厨师如果总是做最受欢迎的几道菜，虽然不会出错，但也失去了创新菜品的机会。

二、破解熵变化的数学密码

研究团队就像数学侦探一样，试图找出控制这种创造性变化的精确规律。他们建立了一套理论框架，能够准确预测在训练过程中模型的创造性会如何变化。

这个理论的核心是一个叫做"判别分数"的概念。可以把这个分数想象成一个"创造力指示器"。当模型考虑某个词汇时，这个指示器会告诉我们：如果选择这个词，模型的整体创造性会增加还是减少。

具体来说，研究团队发现了一个重要的数学关系：熵的变化等于负的判别分数乘以更新强度。这听起来很抽象，但可以用一个烹饪的比喻来理解。假设你在调制一道汤的口味，判别分数就像是你的味觉评判——它告诉你某种调料会让汤变得更复杂还是更单调。更新强度则像是你加调料的分量。如果判别分数是正的（意味着会增加复杂性），但你的操作是减少这个调料（负的更新），那么汤的复杂性就会降低。

研究团队进一步将这个理论扩展到实际的训练算法中。他们分析了一种名为GRPO的训练方法，这是目前广泛使用的强化学习算法之一。通过数学推导，他们得出了一个优雅的结论：在理想的训练条件下，所有词汇对创造性的净贡献平均来说是零。这意味着，如果训练过程完全随机和平衡，模型的创造性理论上应该保持稳定。

然而，现实往往不是这样。在实际训练中，模型倾向于获得正向奖励的高概率词汇，这打破了理想的平衡状态。就像一个天平，如果一边放的砝码总是比另一边重，天平就会持续倾斜。这种不平衡导致了普遍观察到的熵快速下降现象。

三、设计熵控制的实用方法

基于理论分析的深入理解，研究团队提出了两种实用的方法来控制模型训练过程中的创造性变化，就像为失控的汽车安装了刹车系统。

第一种方法叫做"批次归一化熵判别器裁剪"。这个名称听起来复杂，但原理相当直观。在每个训练批次中，研究团队会计算所有词汇的判别分数，然后找出那些会对创造性产生极端影响的"异常词汇"。就像在一群学生中找出那些特别调皮或特别内向的孩子一样，这些异常词汇要么会过度增加模型的随机性，要么会过度降低它的创造性。

这种方法的具体操作是：首先计算批次中所有词汇判别分数的平均值和标准差，然后设定一个阈值，只保留那些判别分数在正常范围内的词汇进行训练，而忽略那些过于极端的词汇。这样做的效果就像是在合唱团中，让音调过高或过低的声音暂时静音，确保整体和谐。

第二种方法更加精确，叫做"词汇归一化熵判别器裁剪"。这种方法不仅考虑词汇在当前批次中的表现，还考虑它在整个词汇表中的相对位置。就像评判学生成绩时，不只看这次考试的表现，还要考虑他在全班中的排名一样。这种方法通过计算每个词汇的判别分数与整个词汇分布期望值的差异，更精确地识别那些会破坏创造性平衡的词汇。

实验验证显示，这两种方法都能有效地稳定模型训练过程中的创造性水平。更重要的是，它们不仅防止了创造性的过度丧失，还提升了模型的实际性能。在数学推理、编程和工具使用等任务上，使用这些方法训练的模型都表现出了更好的探索能力和解决问题的多样性。

四、重新理解现有训练方法的奥秘

有了这套理论框架，研究团队回过头来重新审视现有的各种训练方法，就像有了新的透镜重新观察熟悉的景象，发现了许多之前不为人知的内在机制。

以前，研究人员在训练大语言模型时会使用各种技巧和方法，但大多数时候他们并不完全理解这些方法为什么有效。这就像是按照祖传秘方做菜，知道步骤但不知道每一步的科学原理。现在，通过熵动力学的理论框架，这些"秘方"的科学依据终于被揭示出来。

研究团队将现有的熵控制方法归类为三大类。第一类是"裁剪机制"，这类方法通过限制模型参数的更新幅度来稳定训练过程。过去人们知道这样做有效，但不知道为什么。现在理论分析表明，裁剪机制实际上是在防止那些概率较低的词汇对熵产生过度影响。当一个词汇的概率发生剧烈变化时，就像琴弦突然绷得太紧或太松，会破坏整个乐曲的和谐。裁剪机制就像是给琴弦加装了限制器，防止过度的调节。

第二类是"熵正则化"方法。这类方法直接在训练目标中加入熵相关的奖惩机制，就像在考试评分标准中加入了"创新性"这一项。研究发现，这些方法的有效性来自于它们能够识别和奖励那些有助于保持模型创造性的词汇选择。通过理论分析，研究团队解释了为什么只对具有高熵值的前20%词汇进行训练会带来性能提升——这些词汇恰好是那些能够增加模型创造性的关键元素。

第三类是"概率加权更新"方法。这类方法根据词汇的概率高低给予不同的训练权重。理论分析揭示，这种方法的本质是在重新平衡创造性增强和创造性抑制之间的力量对比。低概率词汇通常与创造性增强相关，而高概率词汇则与创造性抑制相关。通过调整它们的训练权重，可以有效控制整体的创造性变化趋势。

这种统一的理论视角不仅解释了为什么这些看似不同的方法都能起作用，还为未来设计更有效的训练策略提供了指导原则。就像发现了万有引力定律后，人们不仅理解了苹果为什么会落地，还能预测行星的运行轨迹一样。

五、实验证实理论的威力

理论的价值最终要通过实践来检验。研究团队设计了一系列精心控制的实验，就像科学家验证新发现的物理定律一样严谨。

首先，他们验证了判别分数确实能够准确预测创造性的变化方向。在实验中，他们故意只训练那些判别分数为正的词汇，结果发现模型的创造性确实按照理论预测的方向变化。当他们只训练判别分数为负的词汇时，创造性的变化方向完全相反。这就像按照新配方调制鸡尾酒，每一种配料都按照预期改变了饮品的最终口感。

接下来，他们在实际的数学推理任务上测试了新提出的两种控制方法。实验使用了多个具有挑战性的数学数据集，包括AIME24、AIME25和DAPO500。结果显示，使用熵控制方法训练的模型不仅在准确率上有所提升，更重要的是在解题的多样性上有了显著改善。

具体来说，在7B参数的Qwen2.5模型上，批次归一化方法将AIME24的准确率从16.88%提升到19.69%，AIME25从15.42%提升到16.35%。虽然数字看起来提升幅度不大，但在这些极具挑战性的数学竞赛题目上，每一个百分点的提升都代表着模型能力的显著进步。

更令人兴奋的是，研究团队分析了模型在不同问题上的表现分布，发现了训练方法对模型行为模式的深层影响。传统的训练方法会导致模型在某些问题上完全无法求解，而在另一些问题上则能够百分之百正确。这种两极分化的表现模式反映了模型过度偏向安全策略的倾向。

相比之下，使用新方法训练的模型表现出更加均衡的问题解决能力。它们很少出现完全无法解决的问题，同时也避免了过度依赖记忆化答案的倾向。这种变化类似于一个学生从只会做标准题型转变为具备举一反三能力的过程。

研究团队还在不同规模的模型和不同类型的任务上验证了方法的通用性。从4B参数的小模型到14B参数的大模型，从数学推理到代码生成，新方法都展现出了一致的改善效果。这证明了理论框架的普遍适用性，就像发现了一个能够解释多种现象的统一原理。

六、探索与利用的微妙平衡艺术

在机器学习领域，有一个经典的哲学问题：模型应该更多地"探索"新的可能性，还是"利用"已知的有效策略？这个问题就像人生中的选择一样——是冒险尝试新事物，还是坚持做擅长的事情？

研究团队通过详细分析发现，熵动力学为理解这种探索与利用的平衡提供了新的视角。传统的强化学习训练往往过分偏向利用策略，导致模型变得过于保守。这就像一个投资者因为害怕风险而只购买最稳妥的理财产品，虽然不会亏损，但也错过了更大的收益机会。

新提出的熵控制方法实际上是在重新校准这种平衡。通过识别和保护那些促进探索的词汇选择，同时抑制过度保守的倾向，模型学会了在安全性和创新性之间找到最佳平衡点。

实验数据生动地展示了这种平衡的改善效果。研究团队统计了模型在处理不同难度问题时的成功率分布。传统训练方法下的模型表现出明显的两极化：要么完全解决不了（成功率为0），要么轻松解决（成功率为100%），中等难度问题的表现相对较少。

使用新方法训练的模型则表现出更加合理的能力分布曲线。它们在各个难度层次的问题上都有相对均衡的表现，这表明模型学会了根据问题的复杂程度调整自己的策略，而不是简单地采用一刀切的方法。

这种改进不仅体现在量化指标上，还体现在模型生成内容的质量上。研究团队观察发现，使用新方法训练的模型在解决数学问题时会尝试多种不同的解题路径，即使最终答案相同，解题过程也展现出更多的创造性和逻辑性。这种多样化的问题解决方式正是人类专家所具备的重要特征。

七、理论框架的广泛启示

这项研究的影响远不止于提出了几个新的训练技巧。它建立的理论框架为整个大语言模型训练领域提供了新的思考方式，就像牛顿力学为物理学奠定基础一样重要。

从更广的角度来看，熵动力学理论揭示了人工智能训练过程中的一个根本性问题：如何在优化性能的同时保持系统的多样性和适应性。这个问题不仅存在于语言模型中，在其他类型的AI系统中同样普遍存在。

研究团队的理论分析表明，导致创造性丧失的根本原因在于训练过程的不对称性。当模型因为产生"正确"答案而获得奖励时，它会逐渐学会避免那些可能导致错误的探索性行为。这种学习模式在短期内确实能够提升性能，但长期来看会限制模型的适应能力。

这个发现对于AI安全和可控性研究也具有重要意义。过度训练可能会让模型变得过分保守，在面对新型问题或异常情况时缺乏必要的灵活性。就像一个只会按照固定程序工作的机器人，在遇到程序中没有覆盖的情况时就会束手无策。

更有趣的是，研究团队发现的数学规律具有出人意料的普遍性。无论是在7B参数的小模型还是14B参数的大模型上，无论是处理数学问题还是编程任务，熵动力学的基本原理都保持一致。这暗示着可能存在某种支配AI学习过程的基础性数学定律，就像热力学定律支配着物理世界的能量转换一样。

研究结果还对AI系统的可解释性研究提供了新的工具。通过监控训练过程中的熵变化，研究人员可以更好地理解模型的学习状态和潜在问题。这就像给医生提供了一个新的诊断指标，能够更早地发现和预防训练过程中的"病症"。

八、面向未来的技术展望

基于这项研究建立的理论基础，未来的大语言模型训练技术有望获得更多突破性进展。研究团队已经证明，通过精确控制训练过程中的熵动力学，可以显著改善模型的性能和行为特征。

展望未来，这种理论指导的训练方法可能会发展出更多精细化的变种。比如，针对不同类型的任务设计专门的熵控制策略，或者开发能够自适应调整控制参数的智能算法。就像现代医学从"千人一药"发展到个性化治疗一样，AI训练也可能向更加个性化和精准化的方向发展。

另一个有前景的发展方向是将熵动力学理论扩展到多模态模型的训练中。目前的研究主要关注文本生成，但同样的原理可能适用于图像生成、音频处理等其他AI任务。这将为构建更加通用和灵活的人工智能系统提供理论支撑。

研究团队还指出，当前的工作只是揭示了熵动力学的冰山一角。在实际的大规模模型训练中，参数之间的相互作用远比单词汇层面的分析更加复杂。未来的研究需要开发更加精密的数学工具来描述这些高维度的相互作用模式。

从实用角度来看，这项研究为AI公司和研究机构提供了立即可用的改进方法。相比于需要大量计算资源的架构创新，熵控制方法的计算开销相对较小，可以在现有的训练流程中轻松集成。这使得这项技术有望快速在工业界得到应用。

更重要的是，这种基于理论分析的方法学为AI研究提供了新的范式。过去，很多AI技术的改进依赖于经验试错和直觉判断。现在，研究人员可以基于数学理论预测和设计改进方案，这将大大提高研究效率和成功率。

说到底，这项由中科大和阿里通义实验室联合完成的研究不仅解决了大语言模型训练中的一个具体问题，更重要的是为这个快速发展的领域提供了新的理论基础和方法论指导。它告诉我们，即使在看似复杂的AI系统中，依然存在可以被数学精确描述和控制的基本规律。

对于普通人来说，这项研究意味着未来的AI助手将变得更加聪明和有用。它们不再是只会给出标准答案的机器，而是能够在安全性和创造性之间找到完美平衡的智能伙伴。无论是帮助学生解决复杂的数学问题，还是协助程序员开发创新的代码方案，这些经过改进训练的AI模型都将展现出更加出色的表现。

归根结底，这项研究向我们展示了科学理论的强大力量：通过深入理解现象背后的数学原理，我们不仅能够解释已知的问题，还能够预测和创造更好的解决方案。在人工智能这个日新月异的领域中，这样的理论突破将为未来的技术发展指明方向，让AI系统变得更加智能、可靠和有用。

有兴趣深入了解这项研究技术细节的读者，可以通过论文编号arXiv:2602.03392v1查询获取完整的研究论文。

Q&A

Q1：什么是大语言模型训练中的熵动力学？

A：熵动力学是指在大语言模型强化学习训练过程中，模型输出多样性（创造性）的变化规律。就像训练会让学生的答题方式从多样化逐渐变得标准化一样，模型在训练中也会失去创造性，变得过于保守。研究团队通过数学理论精确描述了这种变化过程。

Q2：为什么大语言模型在训练后会变得缺乏创造性？

A：这是因为模型在训练中倾向于选择那些更容易获得奖励的"安全"答案，就像学生为了考试高分而只背标准答案一样。研究发现，模型会逐渐偏向产生高概率的常见回答，虽然这样做不容易出错，但也失去了探索新颖解决方案的能力。

Q3：中科大和阿里提出的熵控制方法如何改善模型性能？

A：他们提出了两种裁剪方法来识别和控制那些对创造性产生极端影响的词汇。就像在合唱中让音调过高或过低的声音暂时静音一样，这些方法能够过滤掉会破坏创造性平衡的异常词汇，从而让模型在保持准确性的同时维持适度的探索能力，最终提升解决复杂问题的多样性和效果。