海外AI实验室：如何训练AI推理能力？

这项令人瞩目的研究来自新加坡Sea AI实验室、新加坡国立大学和新加坡管理大学的联合团队，由刘子晨、陈昌宇、李文俊等多位研究者共同完成。该研究于2025年3月21日发表，完整论文可通过arXiv:2503.20783v1获取。这是首次对DeepSeek-R1-Zero这类革命性AI训练方法进行全面深入分析的研究。

当我们听到"AI能像人类一样思考和推理"这样的说法时，你是否会好奇：这些AI到底是怎么学会复杂推理的？最近，一种叫做R1-Zero的训练方法彻底改变了我们对AI学习的认知。与传统方法不同，这种方法让AI直接在"实战"中学习，就像一个孩子不用先背诵教科书，而是直接通过做数学题来掌握数学思维。

R1-Zero训练就像培养一个数学天才的过程。传统方法是先让AI学习大量的标准答案和解题步骤，然后再教它如何应用。而R1-Zero则完全跳过了这个"背书"阶段，直接让AI在解题过程中通过奖励和惩罚来学习什么是好的推理，什么是坏的推理。这种方法最神奇的地方在于，AI会自发地学会"自我反思"——当它意识到自己可能犯错时，会主动说"等等，让我重新想想"或者"我需要检查一下这个答案"。

然而，这个看似完美的训练方法背后隐藏着许多未解之谜。究竟是什么让有些AI模型能够成功掌握这种推理能力，而有些却不行？在训练过程中观察到的那些令人印象深刻的现象，比如AI回答变得越来越长、推理过程越来越复杂，这些真的代表AI变得更聪明了吗？

新加坡研究团队决定揭开这些谜团。他们像侦探一样，仔细分析了R1-Zero训练的每一个组成部分。他们的发现颠覆了许多人的认知：原来，一些我们以为是AI"变聪明"的表现，实际上可能只是训练算法的偏差造成的假象。

研究团队首先发现了一个有趣的现象：不同的AI基础模型表现出了截然不同的特点。就像不同品种的种子在同样的土壤中会长成不同的植物一样，不同的AI模型在R1-Zero训练中也呈现出了不同的学习模式。特别是Qwen2.5系列模型表现出了一种奇特的特性——即使不给它们任何特殊的提示，它们也能直接回答数学问题，这让研究者怀疑这些模型在最初的训练阶段就已经"偷偷"学过类似的问答内容。

更令人惊讶的是，研究团队发现几乎所有的AI基础模型都已经具备了"啊哈时刻"的能力——也就是在推理过程中突然意识到问题并进行自我纠正的能力。这就像发现所有的学生在正式上课之前就已经掌握了一些基础技能一样，这个发现让研究者重新思考R1-Zero训练到底教会了AI什么新东西。

但研究团队最重要的发现是在训练算法本身。他们发现了GRPO（Group Relative Policy Optimization）算法中存在的一个隐藏偏差，这个偏差就像一个有缺陷的天平，会无意中鼓励AI产生更长的错误答案。当AI给出错误答案时，如果这个答案很长，算法给予的惩罚就会相对较轻；反之，如果AI给出正确但简短的答案，算法的奖励也会相对减少。这就导致了一个奇怪的现象：AI学会了写更长的回答，但这并不一定意味着它的推理能力真的提高了。

为了解决这个问题，研究团队提出了一个改进版本，他们幽默地称之为"Dr. GRPO"（GRPO Done Right的缩写，意思是"做对了的GRPO"）。这个改进版本就像修正了有缺陷的天平，让AI的学习过程更加公平和高效。实验结果显示，使用Dr. GRPO训练的AI不仅保持了原有的推理能力，还显著提高了效率——它们能够用更少的文字表达同样复杂的推理过程。

在深入分析基础模型的特性时，研究团队像考古学家一样仔细挖掘每个模型的"DNA"。他们发现，模板的选择对AI的表现影响巨大。模板就像是给AI戴上不同类型的"眼镜"，有些眼镜能让AI看得更清楚，有些则会模糊AI的视线。有趣的是，对于某些模型，最好的"眼镜"竟然是不戴任何眼镜——也就是不使用任何模板，直接让AI回答问题。

研究团队还进行了一系列精心设计的实验来测试不同因素的影响。他们发现，当AI模型与模板不匹配时，就像让一个习惯了中式思维的学生突然用西式逻辑解题一样，AI的能力会暂时下降，但通过R1-Zero训练，AI能够逐渐适应并重新获得推理能力。这个过程就像重新学习使用一种新工具，虽然开始可能不顺手，但最终还是能掌握。

另一个重要发现是训练数据覆盖范围的影响。研究团队发现，当AI模型和模板高度匹配时，即使用相对简单和范围较小的训练数据，也能获得出色的效果。这就像一个已经掌握了基本技能的学生，只需要少量的练习就能在考试中取得好成绩。但如果模型和模板不匹配，就需要更大范围、更多样化的训练数据来弥补这种不匹配带来的困难。

为了验证数学专业训练的重要性，研究团队还进行了一个对照实验。他们从一个原本在数学方面能力较弱的AI模型开始，先让它接受数学专业训练，再进行R1-Zero训练。结果显示，这种"先打基础，再提升"的方法确实能够显著提高AI的最终推理能力上限。这就像让一个学生先掌握基础知识，再进行高级训练，效果会比直接进行高级训练好得多。

在对比分析中，研究团队还仔细研究了著名的DeepSeek-V3-Base模型和经过R1-Zero训练后的DeepSeek-R1-Zero模型。他们发现，虽然训练后的模型在回答长度上有显著增加，推理过程也变得更加复杂，但这种"变长"并不总是意味着"变好"。有些时候，更长的回答反而包含了更多的错误或冗余信息。这个发现提醒我们，在评价AI能力时，不能仅仅看表面现象，而要深入分析实质内容。

更有趣的是，研究团队发现，即使是那些看起来具有"自我反思"能力的AI回答，也不一定比没有自我反思的回答更准确。这就像有些学生虽然在考试中写了很多"让我再想想"、"等等，这样对吗"之类的话，但最终的答案并不一定更正确。这个发现让我们对AI的"自我反思"能力有了更理性的认识。

基于所有这些发现，研究团队提出了一个极简的R1-Zero训练配方。他们选择了Qwen2.5-Math-7B作为基础模型，使用改进的Dr. GRPO算法，在精心选择的数学问题上进行训练。令人惊喜的是，这个极简配方在仅仅27小时的训练时间内（使用8块A100 GPU），就在AIME 2024竞赛中达到了43.3%的准确率，创造了7B参数模型的新纪录。这就像用一个简化的食谱做出了星级餐厅水准的菜肴。

整个研究过程就像拆解一台精密仪器，然后重新组装出一台更高效的机器。研究团队不仅发现了原有方法的问题，还提出了实用的解决方案，并用实际结果证明了改进的有效性。他们的工作为整个AI研究社区提供了宝贵的洞察，帮助大家更好地理解和改进这些强大的AI训练方法。

这项研究的意义不仅在于技术层面的突破，更在于它揭示了AI学习过程中的一些根本规律。就像牛顿发现万有引力定律不仅解释了苹果为什么会掉落，还解释了行星如何围绕太阳运转一样，这项研究的发现可能会影响未来AI训练方法的发展方向。

研究团队还慷慨地开放了他们的代码和训练好的模型，让其他研究者和开发者能够基于他们的工作继续改进。这种开放的态度就像科学家们分享实验数据和方法一样，有助于整个领域的快速发展。

说到底，这项研究告诉我们，即使是看起来最神奇的AI能力，背后也有着可以理解和改进的科学原理。那些令人惊叹的AI推理能力并非来自某种神秘的"人工智能魔法"，而是通过精心设计的训练过程和算法优化实现的。更重要的是，通过深入分析和改进这些方法，我们可以让AI变得更加高效和可靠。

对于普通人来说，这项研究的影响可能会在未来几年内逐渐显现。更高效的AI训练方法意味着我们能够用更少的计算资源训练出更强大的AI助手，这些助手在帮助我们解决数学问题、分析复杂情况或进行逻辑推理时会变得更加可靠和高效。这就像从手工制作升级到工业化生产，不仅提高了质量，也降低了成本，让更多人能够受益于这些先进技术。

Q&A Q1：R1-Zero训练是什么？它跟传统AI训练有什么不同？ A：R1-Zero训练是一种革命性的AI训练方法，它跳过了传统的"先学习标准答案"步骤，直接让AI在解题过程中通过奖励和惩罚学习推理。就像让孩子直接做题学数学，而不是先背公式。这种方法能让AI自发学会"自我反思"的能力。

Q2：Dr. GRPO算法解决了什么问题？ A：Dr. GRPO解决了原始GRPO算法中的偏差问题。原来的算法就像有缺陷的天平，会无意中鼓励AI写更长的错误答案，而对简短正确答案的奖励不足。Dr. GRPO修正了这个问题，让AI学习过程更公平高效，用更少文字表达同样复杂的推理。

Q3：这项研究对普通人有什么意义？ A：这项研究让AI训练变得更高效，意味着未来我们能用更少资源训练出更强大的AI助手。这些助手在帮助解决数学问题、分析复杂情况时会更可靠。就像从手工制作升级到工业化生产，提高质量的同时降低成本，让更多人受益于先进AI技术。