网易首页 > 网易号 > 正文 申请入驻

清华、快手提出AttnRL:让大模型用「注意力」探索

0
分享至

从 AlphaGo 战胜人类棋手,到 GPT 系列展现出惊人的推理与语言能力,强化学习(Reinforcement Learning, RL)一直是让机器「学会思考」的关键驱动力。

然而,在让大模型真正掌握「推理能力」的道路上,探索效率仍是一道难以逾越的鸿沟。

当下最前沿的强化学习范式之一——过程监督强化学习(Process-Supervised RL, PSRL),让模型不再只看「结果对不对」,而是学会在「推理过程」中不断修正自己。

然而,传统的过程监督强化学习方法在探索效率和训练成本上仍存在明显瓶颈。

为此,来自清华和快手的研究团队提出了一种新框架AttnRL,通过引入注意力机制作为探索的「指南针」,显著提升了过程监督强化学习的效率与性能。

  • 论文标题:

Attention as a Compass: Efficient Exploration for Process-Supervised RL in Reasoning Models

  • 论文链接:

https://arxiv.org/abs/2509.26628

  • GitHub:

https://github.com/RyanLiu112/AttnRL

  • HuggingFace:

https://huggingface.co/papers/2509.26628

过程监督RL的现实困境

传统的结果监督强化学习方法对所有token赋予相同的奖励信号,忽略了推理过程中的细粒度质量。过程监督强化学习方法虽然能提供更精细的奖励,但在分支位置选择和采样策略上效率低下,导致训练成本高昂:

  • 分支策略粗糙:往往按固定长度或熵划分,忽视语义和推理行为;
  • 采样效率低下:在简单和困难问题间一视同仁,导致大量计算浪费在简单问题上;
  • 训练流程冗余:每次训练需进行两次采样,显著增加了时间与计算成本。

为解决这些难题,研究者提出了全新的过程监督强化学习框架——AttnRL,并将注意力机制首次引入推理探索过程,使「注意力」真正成为模型的推理「指南针」。如上图所示,AttnRL 在注意力分数高的步骤进行分支,并在效果和效率上超过了基线方法。

研究核心:让注意力引导探索

研究团队的关键洞察是:在大模型的推理过程中,那些注意力得分高的步骤,往往恰好对应「真正的思考时刻」——模型在规划、自我验证或转折时的关键推理节点。

因此,AttnRL 提出了一种创新的探索方式:

不再随机地从任意位置「分支探索」,而是让模型从高注意力的关键步骤出发,去探索新的推理路径。

论文将这种策略称为Attention-based Tree Branching(ATB),ATB会分析推理序列中的每个步骤,通过计算「前向上下文影响力(Forward Context Influence, FCI)」分数来衡量其对后续推理的影响程度,然后只在FCI得分最高的几个位置建立分支。这种机制让模型能够「少走弯路」,在推理树中更快找到高质量路径。

取所有层和注意力头的最大值,即为FCI分数:

实验结果表明,破坏这些高注意力步骤会显著降低模型的解题准确率,证明它们确实是推理过程的关键节点。

自适应采样:

让模型在「最值得学」的地方学习

传统的PSRL方法往往采用固定比例、均匀采样的方式进行探索,无论任务难易都同等对待,导致大量算力浪费在「简单题」上。

AttnRL引入了两种自适应采样机制:

  • 难度感知探索:根据FCI分数过滤掉那些在两次采样中大概率100%正确的「简单题」,对于困难问题,模型会扩展更多「推理树」来探索解法;而对简单问题,则自动缩减计算量;
  • 动态批次调整:根据当前有效样本数动态调整采样批次大小,保证每次训练中,所有样本的梯度都「有贡献」(即非零advantage),大幅提升了训练效率。

高效训练:一步采样,性能反超

在工程层面,AttnRL设计了一个One-Step Off-Policy的训练流程:

以前的 PSRL 方法在每次更新都需要两次生成(初始采样+蒙特卡洛采样),采样成本高。而 AttnRL 在第 m 步训练时对 m‑1 批进行蒙特卡罗采样,对m+1批进行初始采样,将初始采样与蒙特卡罗采样交错执行,每步只生成一次即可得到训练所需的两类样本。

实验结果:性能与效率双赢

主要结果

  • 在AIME24/25、AMC23、MATH-500、Minerva、Olympiad等六个数学推理基准上,AttnRL对1.5B与7B两个基座均稳定提升,平均准确率分别达到57.2%与68.7%,显著高于GRPO、TreeRL及强RLVR基线方法;
  • 相比DeepScaleR-Preview-1.5B(1750步,24K上下文),AttnRL仅需500步、8K上下文即实现更优结果。

分支采样更高效

基于注意力的分支方法相比于熵分支(TreeRL),在「全对比例」、「全错比例」、「有效比例」等统计上全面占优,AttnRL在简单题采样到更多错误回答,在困难题采样到更多正确回答,证明了 AttnRL 分支采样更加高效。

采样更「干净」

自适应采样让每个批次的每个token 都有非零优势,训练信号密度显著提高。相比于 GRPO 和 TreeRL,AttnRL在更少的训练步数下达到更高性能,并且动态批次机制确保每批次中所有样本均有效,使 AttnRL 能够训练更多有效token。

未来展望

AttnRL 将「注意力分数」首次用于过程监督强化学习的探索决策,把探索预算投向「影响后续最多」的关键推理步骤,为未来的大模型可解释性与强化学习研究打开了新的方向。它启示我们:在让模型「思考得更好」的路上,效率与智能并非对立,而是可以通过更高效的探索实现共赢。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
于东来英国考察归来后谈感受:胖东来跟世界优秀企业差距还非常大;年盈利超1亿的生活广场店12月闭店,“早知道这样,就不会干这个店”

于东来英国考察归来后谈感受:胖东来跟世界优秀企业差距还非常大;年盈利超1亿的生活广场店12月闭店,“早知道这样,就不会干这个店”

极目新闻
2026-11-16 19:06:52
加拿大总理到深圳了!紧握中方代表秒切热聊模式

加拿大总理到深圳了!紧握中方代表秒切热聊模式

看看新闻Knews
2026-11-16 23:56:58
杜特尔特或老死狱中,中方当着全世界的面,说了一句公道话

杜特尔特或老死狱中,中方当着全世界的面,说了一句公道话

听风看局
2026-11-16 21:07:51
小米开启清仓:2399 降到 1614,16+512GB+50MP 长焦

小米开启清仓:2399 降到 1614,16+512GB+50MP 长焦

小柱解说游戏
2026-11-17 02:50:42
全网群嘲的“妈妈有50w存款”事件,撕开了多少家庭最大的悲哀

全网群嘲的“妈妈有50w存款”事件,撕开了多少家庭最大的悲哀

凡知
2026-11-16 08:32:54
欧阳震华谈娱乐圈婚外情,坦言:“哪个男人不想的?想一下而已”

欧阳震华谈娱乐圈婚外情,坦言:“哪个男人不想的?想一下而已”

韩小娱
2026-11-17 11:08:21
陆毅说:“如果我女儿的男朋友很上进,但家境一般,我会棒打鸳鸯。因为我觉得门当户对很重要,而且婚姻要得到双方父母的祝福,才会幸福”

陆毅说:“如果我女儿的男朋友很上进,但家境一般,我会棒打鸳鸯。因为我觉得门当户对很重要,而且婚姻要得到双方父母的祝福,才会幸福”

背包旅行
2026-11-16 09:55:48
彭加木失踪四十多年后现身美国?真相浮出水面!当年中央严令追查,背后内情让人背脊发凉

彭加木失踪四十多年后现身美国?真相浮出水面!当年中央严令追查,背后内情让人背脊发凉

磊子讲史
2026-11-10 15:53:31
爱拼才会赢!女网友为带货,各种各样的姿势尽出,也是拼了

爱拼才会赢!女网友为带货,各种各样的姿势尽出,也是拼了

史海流年号
2026-11-17 08:50:34
2027是羊年,俗话说“红羊逢无春,5人要穿红”,是哪5人,为啥要穿?

2027是羊年,俗话说“红羊逢无春,5人要穿红”,是哪5人,为啥要穿?

小谈食刻美食
2026-11-16 16:32:13
今年,是小学最后的辉煌。

今年,是小学最后的辉煌。

经济学教授V
2026-11-17 07:09:31
为了宽慰观众,《伟大的长征》在结局撒了一个“谎”,太戳心了!

为了宽慰观众,《伟大的长征》在结局撒了一个“谎”,太戳心了!

糊咖娱乐
2026-11-16 18:02:49
蒙古国政府再次公开拒绝了中方提出的跨境铁路运力扩容方案

蒙古国政府再次公开拒绝了中方提出的跨境铁路运力扩容方案

果妈聊娱乐
2026-08-23 08:38:03
1981年,中办突然约谈李敏,商量毛主席遗产如何分配,她淡然表态:不多索取,只要爸爸给我的那一份

1981年,中办突然约谈李敏,商量毛主席遗产如何分配,她淡然表态:不多索取,只要爸爸给我的那一份

唠叨说历史
2026-11-16 17:33:29
“这颜值,放艺术生里也是顶级了!”家长晒素颜大一女儿哭鼻子,院校揭晓网友都慕了

“这颜值,放艺术生里也是顶级了!”家长晒素颜大一女儿哭鼻子,院校揭晓网友都慕了

妍妍教育日记
2026-09-14 20:51:56
谷歌华人工程师杀妻案再曝怪事!14万美元资金流出存疑,被关期间股票也被卖了

谷歌华人工程师杀妻案再曝怪事!14万美元资金流出存疑,被关期间股票也被卖了

北美省钱快报
2026-11-17 02:30:39
仅79元!魅族入局随身WiFi,杂牌要慌了?

仅79元!魅族入局随身WiFi,杂牌要慌了?

小柱解说游戏
2026-11-17 03:45:09
国外网红突然流行炫耀中国男友,惊讶他们没体味,为此感到自豪

国外网红突然流行炫耀中国男友,惊讶他们没体味,为此感到自豪

新游戏大妹子
2026-11-17 13:00:28
不出意外,下半年开始,大米、面粉、食用油或将迎来行业新洗牌?

不出意外,下半年开始,大米、面粉、食用油或将迎来行业新洗牌?

青史卷中人
2026-11-17 03:46:22
港媒曾言:两岸已步入到“准统一”阶段,“西藏模式”更具参考!

港媒曾言:两岸已步入到“准统一”阶段,“西藏模式”更具参考!

起喜电影
2026-11-17 13:10:20
2026-11-17 18:32:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14496文章数 142758关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

伊朗罕见公开20多年前史料:最高领袖视察导弹演习

头条要闻

伊朗罕见公开20多年前史料:最高领袖视察导弹演习

体育要闻

我们三兄弟,都是意大利国脚

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

教育
手机
艺术
公开课
军事航空

教育要闻

看似容易,想要做对却不容易

手机要闻

从瞬间到故事感,Reno17 系列持续引领实况赛道体验创新

艺术要闻

寸境宏光——2026中国小幅油画展 作品选四

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版