网易首页 > 网易号 > 正文 申请入驻

两阶段训练,122B模型HLE拿下59.0%超GPT-6

0
分享至

训练一个能搜索资料、运行代码、完成多步科研任务的智能体,需要多少道工序?中期训练、监督微调、偏好优化、在线策略蒸馏、强化学习——能力越强,流程越长,每加一个环节就要多备一套数据、多调一组参数。


来自杜克大学、字节跳动、马里兰大学帕克分校和纽约州立大学布法罗分校的研究团队给出另一种答案:Axion 1.0 的训练流程只包含两阶段监督微调(SFT)和强化学习(RL),没有中期训练,没有直接偏好优化(DPO),也没有在线策略蒸馏(OPD)。

结果并不寒酸。论文报告,Axion 1.0-122B 在限制部分网站访问的完整 Humanity's Last Exam(HLE)评测中取得 59.0%,高于论文列出的 GPT-6 Astra(57.2%)和 GPT-5.5(52.2%),接近 Claude Opus 5(63.6%)与 Claude Fable 5(63.8%);在 FrontierScience Research 上取得 66.7%。35B 版本在信息搜寻基准 SEAL-0 上取得 62.2%。

团队同时开源了数据构造、生成、筛选、验证、提示词及训练代码,把整套训练方法摆到了台面上。

第一步:给已经会做的题加难度

第一阶段用数学、物理、化学、生物和计算机科学等领域的题目,训练模型的多步推理与计算能力。问题在于,很多公开题目基础模型已经能答对,继续练没有学习空间。

Axion 1.0 的做法是根据基础模型的作答表现,有针对性地提高题目难度。先把原题答案变成新问题中的中间量,让解题多一层依赖;再让基础模型尝试,答错的题目进入候选池,答对的题目连同成功解法交给生成模型继续加难度。

举例来说,种子题要求算出从 1 到 10 的和,新题可以把固定数值替换成参数,要求给出一般表达式;也可以扩大取值范围,让原来的枚举策略失效。其他改写方式还包括增加依赖前一步结果的推理、引入需要分类讨论的条件,以及这些策略的组合。每次改写后参考答案都会重新验证,条件不足或答案不明确的题目被剔除。

这一阶段收集正确的解题轨迹,形成约 1.08 万条第一阶段 SFT 数据。允许使用 Python,但不开放搜索和网页访问,让模型先学会处理题目内部的推理与计算。

第二步:让模型必须走出去找答案

第二阶段围绕另一类任务展开:判断缺少什么信息、到哪里查找、如何把查到的内容用于推理。

构造方式是从公开结构化数据出发,由程序完成筛选、选定唯一实体和计算答案,再让语言模型把这个过程写成自然语言问题。参考答案在出题时就已经确定,便于之后验证模型是否真正做对。

论文给出的示例是:在有行星环的太阳系行星中找出质量最小的一颗,再计算其平均密度。模型需要先确定天王星,查到质量和半径,最后完成计算。一个问题串起实体识别、事实检索和数值计算。

收集轨迹时,出题使用的数据库表和参考答案不会直接提供给模型,模型需要通过搜索、网页访问和 Python 得到所需信息。无需检索就能答对的问题会被过滤;程序还会检查实体选择是否唯一、参数是否齐全,以及自然语言改写是否遗漏条件或泄露答案。最终第二阶段保留约 7500 条正确工具交互轨迹。

两阶段 SFT 都保留完整交互上下文,只对助手生成的推理、工具调用和回答计算训练损失。

第三步:在真实工具交互中继续学习

有了推理和工具使用的示范,35B 与 122B 主模型进一步使用异步 GRPO 进行强化学习,在搜索、网页访问、学术检索和 Python 环境中生成自己的解题轨迹。

RL 阶段最关键的设计是阶段性奖励机制。程序化出题既能提供最终答案,也能记录解题过程中应得到的实体和数值。模型最终答对时获得完整奖励;没有答对时,经过验证的中间进展仍可获得部分奖励,同时对未提交最终答案的情况施加惩罚。

中间进展有先后依赖:先选对实体,再获取参数,最后计算,后续步骤只有在前置步骤通过检查时才能计入进展。需要外部依据的实体识别,还必须得到工具观察的支持,检索结果中偶然出现正确内容不会被当作模型已经完成了推理。

两个主模型分别基于 Qwen3.6-35B-A3B 和 Qwen3.5-122B-A10B。除 HLE 与 FrontierScience Research 外,FrontierScience Olympiad 上 122B 和 35B 版本分别取得 87.0% 和 86.0%,均超过 GPT-5.6 Sol(79.0%)和 Gemini 3.1 Pro(85.0%);HiPhO 上 122B 版本取得 46.2%,高于 GPT-5.6 Sol(42.9%)和 GPT-5.5(43.3%)。

以 35B 模型为例,第一阶段 SFT 后,FrontierScience Olympiad 从 71.0% 提升至 83.0%;第二阶段引入工具使用训练后,BioMysteryBench 从 17.6% 提升至 35.3%,FrontierScience Research 从 48.3% 提升至 58.3%;RL 则进一步将 SEAL-0 从 53.2% 提升至 62.2%。

方法对不同底座同样有效。在 Qwen3.5-35B-A3B 和 Qwen3.6-35B-A3B 上应用相同的两阶段 SFT,训练前两者在 HLE-130 上相差 9.2 个百分点,训练后差距缩小至 0.8 个百分点,在 BioMysteryBench 上则均达到 35.3%。

这套方法也被应用于 4B 和 9B 模型。仅经过两阶段 SFT,两个小模型在 HLE-130 上分别取得 53.1% 和 63.1%,在 FrontierScience Olympiad 上分别达到 81.0% 和 83.0%;9B 模型在 FrontierScience Research 上取得 55.0%。

回到最初的问题:训练一个强大的智能体有多简单?Axion 1.0 给出的路径是两阶段 SFT 加 RL,支撑它的是经过设计和验证的学习任务——用模型已有的解法指导难度提升,用公开数据构造需要外部证据的问题,再通过工具交互中的奖励继续优化。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
马布里,真正的人生赢家。2023 年,马布里结束了与前妻 21 年的婚姻。

马布里,真正的人生赢家。2023 年,马布里结束了与前妻 21 年的婚姻。

回京历史梦
2026-10-30 05:10:04
41岁男子谎称37岁求职,遭拒后起诉被年龄歧视并索赔10万,法院判了

41岁男子谎称37岁求职,遭拒后起诉被年龄歧视并索赔10万,法院判了

极目新闻
2026-11-18 08:26:33
莫泊桑《项链》:被语文课本教错了30年——这不是讽刺虚荣的寓言

莫泊桑《项链》:被语文课本教错了30年——这不是讽刺虚荣的寓言

王岗同学呀
2026-11-15 18:11:47
马晓天将军简历

马晓天将军简历

燕小姐说历史
2025-02-14 08:47:16
二战时,日军给女性强行注射“606药剂”,注射完,士兵就露出了邪恶的笑容,“606药剂”究竟是啥?

二战时,日军给女性强行注射“606药剂”,注射完,士兵就露出了邪恶的笑容,“606药剂”究竟是啥?

回京历史梦
2026-11-10 17:49:16
乒坛最新赛程公布!混团世界杯+WTT总决赛即将到来,乒超迎来收官战斗

乒坛最新赛程公布!混团世界杯+WTT总决赛即将到来,乒超迎来收官战斗

乒谈
2026-11-18 13:03:43
54年西湖集体迁墓,毛主席特别指出:除了岳飞墓,其他的一律迁走

54年西湖集体迁墓,毛主席特别指出:除了岳飞墓,其他的一律迁走

浩渺青史
2026-08-19 23:12:36
一女子与男友恋爱19年,多次想与男友发生关系,真相被揭穿她不能接受

一女子与男友恋爱19年,多次想与男友发生关系,真相被揭穿她不能接受

江山挥笔
2026-11-17 09:16:21
懂车帝也太刚了!

懂车帝也太刚了!

胖胖说他不胖
2026-10-09 15:08:05
康生中伤周总理,吴法宪报告林彪,林:不要上当,他自己想当总理

康生中伤周总理,吴法宪报告林彪,林:不要上当,他自己想当总理

江东浪流史
2024-12-22 08:00:03
砒霜口服药让一类白血病患者存活率超97%,康复患者发声:药物的味道像海水一样,如果我不告诉别人,他们不可能知道我在一年多前曾患血癌

砒霜口服药让一类白血病患者存活率超97%,康复患者发声:药物的味道像海水一样,如果我不告诉别人,他们不可能知道我在一年多前曾患血癌

大风新闻
2026-11-16 10:40:08
金价还没跌到底?专家称国内金价或跌到780元每克

金价还没跌到底?专家称国内金价或跌到780元每克

闪电新闻
2026-11-17 17:47:53
大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

一丝不苟的法律人
2026-11-08 16:44:48
人类进化出胡须,是用来干嘛的?为什么白人胡子比黄种人多?

人类进化出胡须,是用来干嘛的?为什么白人胡子比黄种人多?

心中的麦田
2026-11-15 17:40:14
你见过最没用的人脉是什么?网友:花70w到信用社当柜员,月薪800

你见过最没用的人脉是什么?网友:花70w到信用社当柜员,月薪800

另子维爱读史
2026-11-15 22:43:52
今年,是小学最后的辉煌。

今年,是小学最后的辉煌。

经济学教授V
2026-11-17 07:09:31
别被骗了:每个月能领到2600块退休金的人,压根就是很少的一拨人

别被骗了:每个月能领到2600块退休金的人,压根就是很少的一拨人

放开他让wo来
2026-11-17 13:24:08
2035年中国养老金现状预测:不是发不出,而是不够体面、靠财政?

2035年中国养老金现状预测:不是发不出,而是不够体面、靠财政?

福建睿平
2026-11-17 07:17:14
当着全世界的面!日本给赖清德“当头一棒”,祖国统一众望所归

当着全世界的面!日本给赖清德“当头一棒”,祖国统一众望所归

阿器谈史
2026-10-18 16:00:56
大四女生凌晨外出失联近两年未归,失联前最后身影曝光:身穿红裙白袜,脚上没穿鞋;母亲称曾住酒店寻人4个多月无果

大四女生凌晨外出失联近两年未归,失联前最后身影曝光:身穿红裙白袜,脚上没穿鞋;母亲称曾住酒店寻人4个多月无果

极目新闻
2026-11-17 17:21:30
2026-11-18 16:23:00
像素与芯片
像素与芯片
有态度网友ytd
222文章数 85关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

媒体:今年APEC特殊 无论怎样先把领导人全家福拍起来

头条要闻

媒体:今年APEC特殊 无论怎样先把领导人全家福拍起来

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

认亲被嘲讽后郭德纲委托律师发声明

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

房产
时尚
本地
公开课
军事航空

房产要闻

雅居乐海南,又要卖地了!

西北最贵专列?从西宁到敦煌的“丝路梦享列车”到底值不值?

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军再袭伊朗格什姆岛

无障碍浏览 进入关怀版