网易首页 > 网易号 > 正文 申请入驻

腾讯AI Lab首创RL框架Parallel-R1,教大模型学会「并行思维」

0
分享至

自从 Google Gemini 将数学奥赛的成功部分归功于「并行思维」后,如何让大模型掌握这种并行探索多种推理路径的能力,成为了学界关注的焦点。

然而,现有方法多依赖于监督微调(SFT),模型一来只能模仿预先构造的 parallel thinking 数据,难以泛化到真实的复杂任务中,其次这种方式对数据要求很高,往往需要复杂的 data pipeline 来构造。

为解决这些难题,来自腾讯 AI Lab 西雅图、马里兰大学、卡内基梅隆大学、北卡教堂山分校、香港城市大学、圣路易斯华盛顿大学等机构的研究者们(第一作者郑童是马里兰大学博士生,本工作于其在腾讯 AI Lab 西雅图实习期间完成)首创了 Parallel-R1 框架 ——这是第一个通过强化学习(RL)在通用数学推理任务上教会大模型进行并行思维的框架。该框架通过创新的「渐进式课程」与「交替式奖励」设计,成功解决了 RL 训练中的冷启动和奖励设计难题。

实验表明,Parallel-R1 不仅在多个数学基准上带来高达 8.4% 的平均准确率提升,更通过一种 “中程训练脚手架” 的策略,在 AIME25 测试中实现了 42.9% 的性能飞跃。

  • 论文标题:
  • Parallel-R1: Towards Parallel Thinking via Reinforcement Learning
  • 论文地址:https://arxiv.org/abs/2509.07980
  • 项目地址:https://github.com/zhengkid/Parallel-R1 (Coming Soon)
  • 项目主页:https://zhengkid.github.io/Parallel_R1.github.io/

并行思维的挑战:为何注入并行思维如此困难?

并行思维,即同时探索多条推理路径再进行归纳总结。

图 1:并行思考流程示意图。

目前最主流的注入并行思维的范式是监督微调 (SFT),但这种方式本质上是行为克隆,强迫模型模仿固定的、预先生成的数据,导致模型只会进行表面上的模式匹配,而无法真正习得和泛化并行思维这一内在的推理能力。其次,这类方式对数据质量和多样性的要求非常高,只有非常高质量的数据才能让模型学习到很好的 parallel thinking 能力。然而,遗憾的是,在现实世界中,人们很难天然获取高质量的这类数据,因此只能依赖于人工合成。而对于真实世界的推理任务,构造这些数据的难度很大,需要复杂的数据管道。

另一方面强化学习(RL)是一种更扩展性强的,但在通用、真实的复杂任务中进行并行思维训练却面临两大核心挑战:

  1. 冷启动问题(Cold-Start):由于预训练模型从未见过并行思维的特定格式(如同时生成多个解题路径),在 RL 探索初期,它根本无法自发产生这类轨迹,导致学习无从下手。这时候就需要一个冷启动阶段。但是上文提到,对于真实世界的难题,这种数据很难构造。
  2. 奖励设计困境(Reward Design):如何平衡「解题正确率」和「思维方式」是一个难题。如果只奖励最终答案的正确性,模型会倾向于走最简单、最熟悉的单路径「捷径」,从而「遗忘」更复杂的并行思维;而如果强行要求使用平行格式,又可能导致模型为了格式而牺牲逻辑的严谨性,反而降低了准确率。

图 2:渐进式课程训练示意图

Parallel-R1 的解法:首个为真实世界推理任务打造的 RL 框架

为攻克上述难题,Parallel-R1 作为首个专为通用、复杂数学推理等真实世界任务设计的强化学习框架被提出。它通过一套精巧的组合拳,系统性地解决了训练困境。

渐进式课程:从「学格式」到「学探索」

研究者的一个关键发现是:用简单的提示工程,让强大的模型为简单数学题(如 GSM8K)生成高质量的并行思维数据是可行的(成功率 83.7%),但对于复杂难题(如 DAPO)则完全无效(成功率 0.0%)。

基于这一洞察,他们巧妙的避开了复杂的数据管道依赖,并设计了一种渐进式课程:

  • 第二阶段(能力泛化):当模型掌握了基本格式后,再将其置于更困难的数学任务中,通过 RL 进行训练 。此时,模型已经具备了生成平行轨迹的 “火种”,可以在 RL 的驱动下自由探索、试错,并最终将这一能力泛化到未知难题上。

交替式奖励:在「准确性」与「多样性」间取得平衡

针对奖励设计的困境,研究团队试验了多种方案,最终提出了一种高效的交替式奖励策略。该策略在训练过程中,周期性地在两种奖励模式间切换:

  • 80% 的时间使用「准确率奖励」:只根据最终答案是否正确给予奖励,确保模型的核心目标始终是解决问题。
  • 20% 的时间使用「分层奖励」:在这一模式下,如果模型使用了并行思维并且答案正确,会获得一个额外奖励(+1.2 分);如果未使用并行思维但答案正确,则获得标准奖励(+1.0 分);否则将受到惩罚。

消融实验(见下表)证明了该策略的优越性。单纯奖励准确率,模型的并行思维使用率极低(13.6%);单纯奖励平行格式,模型性能会严重下滑。而交替式策略在将并行思维使用率提升至 63.0% 的同时,还能在 AIME 等高难度测试上取得最佳性能,完美实现了「既要并行行为又要准确率」的目标。

并行思考模型超过单一思考模型

根据下面提供的性能对比表,注入了并行思维能力的模型在各项数学推理基准测试中,其性能优于传统的单一(顺序)思考模型。

打开「黑箱」:模型如何悄然改变思维策略?

除了提出高效的训练框架,该研究还深入分析了模型在学习过程中的动态变化,揭示了一个有趣现象:模型的并行思维策略会随着训练的深入,从「探索」演变为 「验证」。

图 3:训练过程中 < Parallel > 模块相对位置的变化,曲线稳步上升,表明其应用从早期探索转向后期验证。

意外之喜:作为「训练脚手架」的并行思维

研究还发现了一个更令人振奋的结论:并行思维本身可以作为一种临时的「结构化探索脚手架」,来帮助模型解锁更高的性能上限。

研究者设计了一个两阶段训练实验:

  1. 探索阶段(0-200 步):采用交替式奖励,强制模型高频率地使用并行思维,进行广泛的策略空间探索。
  2. 利用阶段(200 步后):切换为纯粹的准确率奖励。此时,模型会逐渐减少对平行格式的依赖,转而专注于提炼和利用在第一阶段发现的最优策略。

结果(见下图)显示,进入第二阶段后,尽管模型的并行思维使用率(绿线)骤降,但其在 AIME25 上的准确率(红线)却持续攀升,最终达到了25.6% 的峰值。这一成绩相较于从头到尾只用标准 RL 训练的基线模型,实现了高达 42.9% 的相对提升。这证明了,短暂地「强迫」模型进行平行探索,能够帮助它发现一个更优的「能力区间」,即使后续不再使用这种形式,其学到的核心推理能力也得到了质的飞跃。

图 4:两阶段训练曲线。在探索阶段后,并行思维使用率下降,但模型准确率持续走高,超越基线。

总结

在这项工作中,研究者们提出了 Parallel-R1,这是首个能在真实的通用数学推理任务上,通过强化学习教会大模型进行并行思维的框架。除此之外,研究者们进一步对并行思考行为以及其潜在价值进行了深入探讨。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
快讯!黄仁勋打破沉寂:如果董事会认可,我将很荣幸回归担任CEO

快讯!黄仁勋打破沉寂:如果董事会认可,我将很荣幸回归担任CEO

瓦砾村夫
2026-11-18 01:01:37
杀回英伟达,黄仁勋要先干掉董事会

杀回英伟达,黄仁勋要先干掉董事会

起点人文
2026-11-18 17:16:37
英伟达,业绩“炸裂”!董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人,“他辞职是自愿”!临时CEO:供应商和合作伙伴100%支持我们

英伟达,业绩“炸裂”!董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人,“他辞职是自愿”!临时CEO:供应商和合作伙伴100%支持我们

每日经济新闻
2026-11-18 10:46:50
联盟第一!湖人加时逆转黄蜂9连胜 东契奇36分格莱姆斯47+10三分

联盟第一!湖人加时逆转黄蜂9连胜 东契奇36分格莱姆斯47+10三分

醉卧浮生
2026-11-18 15:02:34
冰火两重天!A股市值高点回落缩水32万亿,“股民人均亏13万”引热议,评论区有股民赚到钱了

冰火两重天!A股市值高点回落缩水32万亿,“股民人均亏13万”引热议,评论区有股民赚到钱了

火山詩话
2026-11-18 09:38:15
黄仁勋35岁女儿被曝是“尖叫公主”,已致12名高管辞职,虎父无犬女引发争议

黄仁勋35岁女儿被曝是“尖叫公主”,已致12名高管辞职,虎父无犬女引发争议

译言
2026-11-18 07:30:17
67岁老人抬棺材时被砸伤致残:抬棺队平均年龄超60岁,每人分300元!起诉丧家索赔8万,判了

67岁老人抬棺材时被砸伤致残:抬棺队平均年龄超60岁,每人分300元!起诉丧家索赔8万,判了

红星新闻
2026-11-18 18:02:29
AI演员一句“戴了一天很舒服”,被罚6.8万元

AI演员一句“戴了一天很舒服”,被罚6.8万元

凤凰网财经
2026-11-17 00:22:30
英伟达:停止向中国供应 H200

英伟达:停止向中国供应 H200

云头条
2026-11-18 12:16:55
忘恩负义到顶峰了!足坛名宿公开怒喷葡萄牙忘本:没有C罗你们什么都不是,如今却把功勋传奇当耻辱!没有那双脚,连决赛门朝哪开都不知道

忘恩负义到顶峰了!足坛名宿公开怒喷葡萄牙忘本:没有C罗你们什么都不是,如今却把功勋传奇当耻辱!没有那双脚,连决赛门朝哪开都不知道

锐评利物浦
2026-11-18 10:15:40
60 岁于东来英国考察归来,接受《河南日报》专访坦言:差距依旧很大,敢于正视自身短板

60 岁于东来英国考察归来,接受《河南日报》专访坦言:差距依旧很大,敢于正视自身短板

秋风妃
2026-11-18 13:12:39
全网点赞班主任!孩子三次不交作业,家长群内怒斥老师,老师公开致歉:“孩子将来好坏和我们无关”

全网点赞班主任!孩子三次不交作业,家长群内怒斥老师,老师公开致歉:“孩子将来好坏和我们无关”

火山詩话
2026-11-18 06:17:30
王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

娱乐团长
2026-11-18 13:17:46
央媒发文,高调官宣邓亚萍新身份,涉嫌贪腐被带走传闻早水落石出

央媒发文,高调官宣邓亚萍新身份,涉嫌贪腐被带走传闻早水落石出

青橘罐头
2026-11-18 09:41:10
大家发现没?油车跑1000公里要500多块,电车跑1000公里呢?

大家发现没?油车跑1000公里要500多块,电车跑1000公里呢?

兴趣知识
2026-11-18 02:59:02
宁波:高速堵满了集卡,夜市却空了一半

宁波:高速堵满了集卡,夜市却空了一半

茶狐看世界本尊
2026-11-18 13:25:44
世界领先!新加坡全面拆除公路收费站,改用“卫星定位”隔空扣费

世界领先!新加坡全面拆除公路收费站,改用“卫星定位”隔空扣费

三言四拍
2026-11-18 18:40:16
“深圳人全妆出街迎APEC”,冲上热搜

“深圳人全妆出街迎APEC”,冲上热搜

极目新闻
2026-11-18 10:22:19
中国银行股份有限公司原党委委员、副行长林景臻一审获刑十三年

中国银行股份有限公司原党委委员、副行长林景臻一审获刑十三年

澎湃新闻
2026-11-18 17:19:03
7天内不撤回中国诉讼,每天罚500万欧元,封顶3亿!闻泰科技和安世已经从董事会吵架,升级成了一场按天计费的法律围猎

7天内不撤回中国诉讼,每天罚500万欧元,封顶3亿!闻泰科技和安世已经从董事会吵架,升级成了一场按天计费的法律围猎

扶苏聊历史
2026-11-18 11:21:53
2026-11-18 19:47:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

健康
教育
房产
数码
本地

医生眼里"很伤腰"的椅子,很多人天天坐

教育要闻

2027泰晤士跨学科科学排名,出炉!

房产要闻

周大生出手!海棠湾又一大商业体来了

数码要闻

三星LG显示加码AR微显示技术 索尼占七成OLEDoS供应

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版