训练一个能搜索资料、运行代码、完成多步科研任务的智能体,需要多少道工序?中期训练、监督微调、偏好优化、在线策略蒸馏、强化学习——能力越强,流程越长,每加一个环节就要多备一套数据、多调一组参数。
![]()
来自杜克大学、字节跳动、马里兰大学帕克分校和纽约州立大学布法罗分校的研究团队给出另一种答案:Axion 1.0 的训练流程只包含两阶段监督微调(SFT)和强化学习(RL),没有中期训练,没有直接偏好优化(DPO),也没有在线策略蒸馏(OPD)。
结果并不寒酸。论文报告,Axion 1.0-122B 在限制部分网站访问的完整 Humanity's Last Exam(HLE)评测中取得 59.0%,高于论文列出的 GPT-6 Astra(57.2%)和 GPT-5.5(52.2%),接近 Claude Opus 5(63.6%)与 Claude Fable 5(63.8%);在 FrontierScience Research 上取得 66.7%。35B 版本在信息搜寻基准 SEAL-0 上取得 62.2%。
团队同时开源了数据构造、生成、筛选、验证、提示词及训练代码,把整套训练方法摆到了台面上。
第一步:给已经会做的题加难度
第一阶段用数学、物理、化学、生物和计算机科学等领域的题目,训练模型的多步推理与计算能力。问题在于,很多公开题目基础模型已经能答对,继续练没有学习空间。
Axion 1.0 的做法是根据基础模型的作答表现,有针对性地提高题目难度。先把原题答案变成新问题中的中间量,让解题多一层依赖;再让基础模型尝试,答错的题目进入候选池,答对的题目连同成功解法交给生成模型继续加难度。
举例来说,种子题要求算出从 1 到 10 的和,新题可以把固定数值替换成参数,要求给出一般表达式;也可以扩大取值范围,让原来的枚举策略失效。其他改写方式还包括增加依赖前一步结果的推理、引入需要分类讨论的条件,以及这些策略的组合。每次改写后参考答案都会重新验证,条件不足或答案不明确的题目被剔除。
这一阶段收集正确的解题轨迹,形成约 1.08 万条第一阶段 SFT 数据。允许使用 Python,但不开放搜索和网页访问,让模型先学会处理题目内部的推理与计算。
第二步:让模型必须走出去找答案
第二阶段围绕另一类任务展开:判断缺少什么信息、到哪里查找、如何把查到的内容用于推理。
构造方式是从公开结构化数据出发,由程序完成筛选、选定唯一实体和计算答案,再让语言模型把这个过程写成自然语言问题。参考答案在出题时就已经确定,便于之后验证模型是否真正做对。
论文给出的示例是:在有行星环的太阳系行星中找出质量最小的一颗,再计算其平均密度。模型需要先确定天王星,查到质量和半径,最后完成计算。一个问题串起实体识别、事实检索和数值计算。
收集轨迹时,出题使用的数据库表和参考答案不会直接提供给模型,模型需要通过搜索、网页访问和 Python 得到所需信息。无需检索就能答对的问题会被过滤;程序还会检查实体选择是否唯一、参数是否齐全,以及自然语言改写是否遗漏条件或泄露答案。最终第二阶段保留约 7500 条正确工具交互轨迹。
两阶段 SFT 都保留完整交互上下文,只对助手生成的推理、工具调用和回答计算训练损失。
第三步:在真实工具交互中继续学习
有了推理和工具使用的示范,35B 与 122B 主模型进一步使用异步 GRPO 进行强化学习,在搜索、网页访问、学术检索和 Python 环境中生成自己的解题轨迹。
RL 阶段最关键的设计是阶段性奖励机制。程序化出题既能提供最终答案,也能记录解题过程中应得到的实体和数值。模型最终答对时获得完整奖励;没有答对时,经过验证的中间进展仍可获得部分奖励,同时对未提交最终答案的情况施加惩罚。
中间进展有先后依赖:先选对实体,再获取参数,最后计算,后续步骤只有在前置步骤通过检查时才能计入进展。需要外部依据的实体识别,还必须得到工具观察的支持,检索结果中偶然出现正确内容不会被当作模型已经完成了推理。
两个主模型分别基于 Qwen3.6-35B-A3B 和 Qwen3.5-122B-A10B。除 HLE 与 FrontierScience Research 外,FrontierScience Olympiad 上 122B 和 35B 版本分别取得 87.0% 和 86.0%,均超过 GPT-5.6 Sol(79.0%)和 Gemini 3.1 Pro(85.0%);HiPhO 上 122B 版本取得 46.2%,高于 GPT-5.6 Sol(42.9%)和 GPT-5.5(43.3%)。
以 35B 模型为例,第一阶段 SFT 后,FrontierScience Olympiad 从 71.0% 提升至 83.0%;第二阶段引入工具使用训练后,BioMysteryBench 从 17.6% 提升至 35.3%,FrontierScience Research 从 48.3% 提升至 58.3%;RL 则进一步将 SEAL-0 从 53.2% 提升至 62.2%。
方法对不同底座同样有效。在 Qwen3.5-35B-A3B 和 Qwen3.6-35B-A3B 上应用相同的两阶段 SFT,训练前两者在 HLE-130 上相差 9.2 个百分点,训练后差距缩小至 0.8 个百分点,在 BioMysteryBench 上则均达到 35.3%。
这套方法也被应用于 4B 和 9B 模型。仅经过两阶段 SFT,两个小模型在 HLE-130 上分别取得 53.1% 和 63.1%,在 FrontierScience Olympiad 上分别达到 81.0% 和 83.0%;9B 模型在 FrontierScience Research 上取得 55.0%。
回到最初的问题:训练一个强大的智能体有多简单?Axion 1.0 给出的路径是两阶段 SFT 加 RL,支撑它的是经过设计和验证的学习任务——用模型已有的解法指导难度提升,用公开数据构造需要外部证据的问题,再通过工具交互中的奖励继续优化。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.