认知科学研究院发现：进化策略竟能超越强化学习训练大语言模型

这项开创性研究由美国认知科学研究院的邱鑫博士领导，联合麻省理工学院、德克萨斯大学奥斯汀分校等知名机构的研究团队共同完成，发表于2025年9月的《机器学习》期刊（论文编号：arXiv:2509.24372v1）。这是首次成功将进化策略扩展到数十亿参数规模的大语言模型微调任务，颠覆了人们对传统强化学习方法的认知。

当我们谈论人工智能的训练方式时，通常会想到强化学习——就像训练一只小狗做各种动作一样，给对的行为奖励，给错的行为惩罚。这种方法在训练ChatGPT、GPT-4等大语言模型时被广泛使用，堪称当前的"金标准"。然而，这种看似完美的训练方法却有着不少令人头疼的问题。

强化学习训练大语言模型就像是在迷雾中开车——你需要在每个路口（每个词汇选择）都做出决定，但只有到达终点时才知道整个路线是否正确。这种延迟反馈机制导致了样本效率低下的问题。更糟糕的是，不同的模型对同样的训练方法反应截然不同，就像同一个健身计划对不同体质的人效果天差地别。此外，强化学习还容易出现"钻空子"的现象——模型可能会学会一些看似达到目标但实际偏离初衷的技巧，就像学生为了考高分而死记硬背标准答案，却失去了真正的理解能力。

在这样的背景下，研究团队将目光投向了一个看似"古老"的方法——进化策略。这种方法的思路完全不同：与其像强化学习那样在行动空间中摸索，不如直接在模型的"基因"（参数）层面进行改造。就像育种专家培育新品种一样，他们不是训练每只动物的具体行为，而是直接改良它们的遗传基因。

过去，进化策略在人工智能领域一直被认为是"小打小闹"的方法，只能处理几百万参数的小模型。面对现在动辄几十亿参数的大语言模型，传统观念认为进化策略根本无法胜任——这就像用传统的手工艺方法去制造现代化的大型工厂一样不现实。但研究团队偏偏要挑战这个"不可能"。

经过精心设计和巧妙的工程实现，研究团队成功地将进化策略扩展到了数十亿参数的规模。他们的方法可以形象地比作一个超级高效的"遗传实验室"：每次实验都会产生30个"变异版本"的模型（相比之下，传统进化策略通常需要上万个变异版本），然后根据这些变异版本的表现来决定如何调整下一代模型。

一、令人震惊的实验结果：进化策略全面碾压传统方法

研究团队在一个名为"倒计时"的数学推理任务上进行了全面测试。这个任务要求模型根据给定的几个数字，通过四则运算构造出目标数值的表达式。比如，给定数字[100, 50, 6, 3]，要求得到950，正确答案是100×(6+3)+50=950。这种任务对模型的逻辑推理能力要求很高，是测试人工智能数学能力的经典基准。

实验结果令人大跌眼镜。在最小的Qwen-2.5-0.5B模型上，传统的强化学习方法（PPO和GRPO）几乎毫无进展，准确率仅从0.1%提升到0.3%。这就像一个完全不会做数学题的学生，即使经过大量训练也依然一筹莫展。然而，进化策略却能将同一个模型的准确率提升到14.4%——这是一个48倍的巨大改进！

更令人惊讶的是，随着模型规模的增大，进化策略的优势变得更加明显。在最大的Qwen-2.5-7B模型上，强化学习方法将准确率从31.2%提升到55.1%，而进化策略则达到了66.8%的准确率。这种一致性的优势在不同模型家族中都得到了验证——无论是Qwen系列还是LLaMA系列，进化策略都表现出了显著的优越性。

这种优势的背后隐藏着一个深刻的原理。强化学习就像是在每个决策点都要做出选择的司机，需要在每个词汇位置都进行采样和决策，这种逐步决策的过程积累了大量噪声。而进化策略则像是一个基因工程师，直接对整个"生物体"进行改造，一次性的参数调整决定了整个响应序列，因此具有更低的方差和更稳定的表现。

二、样本效率的惊人优势：用更少的数据达到更好的效果

在样本效率方面，进化策略展现出了令人难以置信的优势。尽管进化策略需要在数十亿维的参数空间中进行搜索，而强化学习只在相对较小的行动空间中探索，但实验结果却完全颠覆了人们的直觉预期。

通过对比学习曲线，研究团队发现进化策略在大多数情况下只需要强化学习方法不到20%的训练样本就能达到相同的性能水平。这就像是一个学生只用了五分之一的练习题就达到了别人的水平。这种效率优势的根本原因在于进化策略的探索机制更加直接有效——它不需要像强化学习那样在每个决策步骤都进行复杂的信用分配。

更值得注意的是，进化策略只需要30个个体的种群规模就能有效工作，而传统的进化策略实现通常需要10000个或更多的个体。这种效率的提升可以归因于现代大语言模型的内在低维结构特性——尽管参数数量庞大，但模型的有效自由度可能远小于参数总数。

三、跨模型的卓越稳健性：一套参数走天下

在模型适应性测试中，进化策略展现出了令人印象深刻的稳健性。研究团队在所有实验中使用了完全相同的超参数设置——种群大小30，噪声尺度0.001，学习率5×10^-4。这就像是一副万能眼镜，戴在不同的人身上都能看得很清楚。

相比之下，强化学习方法就像是"娇气的公主"，对不同的模型需要精心调整不同的参数。研究团队不得不为每个模型单独进行超参数搜索，测试不同的KL散度惩罚系数和学习率组合。即使进行了如此精心的调整，强化学习方法在某些较小的模型上依然表现不佳。

这种稳健性的根源在于进化策略的探索机制与具体的模型架构相对独立。它就像是一个通用的"基因改造工具"，不管面对什么样的"生物体"都能有效工作，而不需要针对每种"物种"都开发专门的工具。

四、简洁性任务中的行为差异分析：更深层的机制洞察

为了更深入地理解两种方法的本质差异，研究团队设计了一个简洁性微调任务。他们要求模型生成更加简洁的回答，比如对于问题"说出一种原色"，最简洁的正确答案是"红色"，而不是"红色是三原色之一，它是一种基础颜色"这样的冗长回答。

在这个任务中，两种方法的行为差异变得格外明显。通过分析奖励值和KL散度（衡量模型偏离原始行为程度的指标）之间的权衡关系，研究团队发现进化策略能够在不使用任何KL散度惩罚的情况下，自然地找到既能获得高奖励又能保持合理行为的解决方案。这就像是一个天生懂得分寸的人，不需要外在约束就能做出恰当的行为。

而强化学习方法则必须依赖精心调节的KL散度惩罚来防止模型"变坏"——如果不加以约束，它很容易学会生成一些看似简洁但毫无意义的符号来欺骗奖励系统。这种差异揭示了两种方法的根本不同：进化策略优化的是解决方案的分布，天然具有正则化效应；而强化学习优化的是单一解决方案，更容易走极端。

五、一致性和稳定性：可靠性的重要优势

在多次运行的一致性测试中，进化策略再次展现了其优越性。研究团队对每种方法进行了四次独立运行，使用不同的随机种子。结果显示，进化策略的标准差仅为0.004到0.008，而强化学习方法的标准差高达0.041到0.062，是进化策略的15.5倍。

这种稳定性的差异可以用一个生动的比喻来解释：进化策略就像是一个经验丰富的老工匠，每次都能稳定地制作出高质量的产品；而强化学习则像是一个情绪化的艺术家，有时能创作出杰作，但表现很不稳定，经常受到各种外界因素的影响。

这种一致性对于实际应用具有重要意义。在工业环境中，模型训练的可重复性和可预测性至关重要。没有人希望花费大量资源训练模型后，却因为随机因素的影响而得到令人失望的结果。

六、计算效率：意外的惊喜

除了性能优势外，进化策略还带来了计算效率方面的惊喜。由于进化策略基于推理而非训练，不需要计算梯度和进行反向传播，因此可以显著节省GPU内存使用。这就像是用组装的方式制造汽车，而不是从原材料开始冶炼，自然会更加高效。

此外，进化策略的高度并行化特性使其能够充分利用现代计算资源。每个变异个体的评估都可以在独立的进程中进行，这种"分而治之"的策略特别适合分布式计算环境。

七、理论机制的深度思考：为什么进化策略会胜出

研究团队对这些令人惊讶的结果提出了一个深刻的理论解释。他们认为，许多大语言模型的微调目标本质上都是长时间序列的、基于最终结果的优化问题，这种奖励信号往往是"锯齿状"的——在参数空间中存在大量局部最优点和陡峭的梯度变化。

强化学习方法试图通过蒙特卡洛采样来"平滑"这种锯齿状的奖励景观，但这种平滑过程在行动空间中进行，并不能保证参数空间中的平滑性。随着模型规模增大和策略变得更加尖锐（熵值降低），这种方法的信噪比会急剧下降，容易导致奖励欺骗等不良后果。

相比之下，进化策略通过在参数空间中显式地注入高斯噪声，实现了真正的高斯卷积平滑。这种平滑机制更加直接有效，能够提供更稳定的优化方向。模型越大、策略越尖锐，这种优势就越明显。

这个理论不仅解释了实验现象，还预测了进化策略在更大规模模型上可能会有更显著的优势。这为未来的研究方向提供了重要指导。

八、实际参数变化的深入分析：微调的真实面貌

为了更深入地理解微调过程中实际发生了什么，研究团队分析了模型参数在训练前后的变化模式。令人惊讶的是，对于大部分模型，参数的变化幅度与随机游走几乎没有区别。这个发现初看起来很矛盾——既然参数变化如此微小，为什么模型性能会有如此显著的提升？

进一步分析揭示，关键在于这些看似随机的微小变化实际上是"有意义的随机"。特别是在最大的Qwen-2.5-7B模型的简洁性微调任务中，研究团队观察到了一个系统性的偏向：参数变化分布明显偏向于小幅度的调整。这种模式表明，大型模型可能以一种高度冗余的方式编码功能，因此只需要通过大量微小的参数调整就能实现显著的行为改变。

这个发现与近期关于大语言模型内在维度的研究结果相呼应，暗示着即使是数十亿参数的模型，其有效自由度可能远小于参数总数。这也解释了为什么进化策略能够用如此小的种群规模就取得成功——搜索空间的有效维度可能比表面看起来要小得多。

九、更广阔的应用前景：超越当前实验的想象

虽然当前的实验主要集中在推理任务和简洁性微调上，但进化策略的成功为更广泛的应用打开了大门。研究团队特别指出，进化策略不依赖于过程奖励的特性使其特别适合那些只有最终结果评价的任务。

这种特性对于科学发现和创新性任务具有重要意义。在许多科学研究中，我们往往只能在实验结束后才知道结果的好坏，而无法在过程中给出逐步指导。进化策略的这种"目标导向"特性可能是实现真正的人工智能科学家的关键技术之一。

此外，由于进化策略优化的是解决方案分布而非单一解决方案，它可能在生成多样化、创新性内容方面具有独特优势。这对于创意写作、艺术创作、科学假设生成等需要多样性的任务来说具有重要价值。

研究团队还提出了一个更加激动人心的可能性：进化策略可能是实现超级智能的必要组成部分。由于它不依赖于人类提供的过程监督，能够在只有最终目标指导的情况下进行学习，这种能力对于超越人类监督能力的系统来说可能是必不可少的。

十、技术实现的巧妙设计：化不可能为可能

研究团队在技术实现上的创新同样值得关注。他们通过一系列巧妙的工程优化，成功地将传统上被认为不可扩展的进化策略扩展到了数十亿参数的规模。

最关键的创新之一是使用随机种子来重构噪声的方法。传统的进化策略需要显式存储所有变异个体的参数，这对于大模型来说在内存上是不可行的。研究团队的解决方案类似于"基因密码"的概念——不存储完整的"生物体"，而是存储生成它们的"DNA序列"（随机种子）。当需要某个变异个体时，只需要用相同的随机种子重新生成噪声即可。

另一个重要的创新是层级式的就地扰动和恢复机制。他们不是一次性对整个模型进行扰动，而是逐层进行处理，在评估完成后立即恢复。这种方法将峰值内存使用量控制在可接受的范围内，使得在标准的GPU集群上就能运行数十亿参数的进化策略优化。

这些技术创新的重要性不仅在于解决了当前的问题，更在于为未来更大规模的模型优化提供了可行的技术路径。

现有的强化学习微调方法虽然在许多任务上表现不错，但其固有的局限性正变得越来越明显。随着模型规模的不断增大和任务复杂度的提升，这些局限性将变得更加突出。进化策略的成功为大语言模型的微调开辟了一条全新的道路，它不仅能够解决现有方法的痛点，还可能解锁一些以前无法实现的应用场景。

当然，这项研究也有其局限性。目前的实验主要集中在特定类型的任务上，进化策略在其他类型任务上的表现还需要进一步验证。此外，虽然研究团队提出了理论解释，但对于为什么进化策略能够如此有效地处理大规模参数优化问题，我们的理解仍然有限。

不过，这些局限性丝毫不能掩盖这项研究的开创性意义。它不仅挑战了人们对参数空间优化可行性的传统认知，还为人工智能的发展提供了新的思路和工具。随着研究的深入和技术的进一步完善，进化策略有望在大语言模型的训练和应用中发挥越来越重要的作用。

说到底，这项研究告诉我们，在人工智能这个快速发展的领域，保持开放的心态和勇于挑战传统观念是多么重要。有时候，最好的解决方案可能来自于那些看似"过时"或"不可能"的方法。正如进化策略在被认为无法扩展到大规模问题多年后，突然展现出了超越当前主流方法的能力。这提醒我们，科学研究中没有绝对的"不可能"，只有"暂时没有找到方法"。对于那些对人工智能发展感兴趣的读者，这项研究的详细内容可以通过论文编号arXiv:2509.24372v1进行查询。

Q&A

Q1：进化策略是什么？它和强化学习有什么区别？

A：进化策略是一种像生物进化一样的优化方法，直接改变模型的参数（相当于基因），然后选择表现好的版本继续"繁殖"。强化学习则像训练动物一样，通过奖励和惩罚来教模型在每个步骤做出正确的选择。两者的根本区别在于，进化策略改造模型本身，强化学习训练模型行为。

Q2：为什么进化策略能用更少的训练数据达到更好效果？

A：因为进化策略一次性调整整个模型参数来生成完整响应，避免了强化学习在每个词汇选择时都要做决策带来的噪声累积。这就像一次性设计好整个路线vs在每个路口都要重新决定方向，前者显然更高效稳定。

Q3：这项研究对普通人使用AI有什么影响？

A：这项技术可能让AI模型变得更加可靠和高效，特别是在数学推理、创意生成等需要长期思考的任务上。未来我们可能会看到响应更准确、训练成本更低的AI产品，而且这些AI在处理复杂问题时会更加稳定可信。