网易首页 > 网易号 > 正文 申请入驻

RLinf上新πRL:在线强化学习微调π0和π0.5

0
分享至

近年来,基于流匹配的VLA 模型,特别是 Physical Intelligence 发布的π0和π0.5,已经成为机器人领域备受关注的前沿技术路线。流匹配以极简方式建模多峰分布,能够生成高维且平滑的连续动作序列,在应对复杂操控任务时展现出显著优势。

尽管如此,VLA 模型在训练过程中严重依赖于大规模、高质量的人类演示数据,而收集和标注这些数据的成本高昂且周期漫长。强化学习允许智能体通过与环境的真实交互自行探索和迭代改进,可以减少VLA 模型对大量数据的依赖,并进一步提升SFT 的性能上限。

目前,针对流匹配VLA 的 RL研究仍较少,主流工作大多集中在OpenVLA 和 OpenVLA-OFT等自回归VLA上。其核心挑战在于:流匹配VLA 通过迭代去噪生成动作,导致难以直接计算输出动作的对数似然——而这是PPO、GRPO 等策略梯度方法更新的关键。

清华、北大、CMU 等机构联合推出了一套面向流匹配 VLA(π0,π0.5)的在线强化学习(PPO 和 GRPO)微调框架πRL。该框架基于 RLinf(首个面向具身智能的大规模强化学习系统)实现,提出Flow-Noise 和 Flow-SDE两种微调方案,在公开测试平台LIBERO 达到平均 97.6% (π0) 和 98.3% (π0.5),验证了微调方案的有效性。

进一步,πRL在涵盖4,352 种抓取-放置任务组合中进行训练,成功率涨幅40% 以上,最终成功率超 80%,验证了框架支持大规模任务训练的能力。目前,全部代码、模型和文档示例已完全开源。

  • 论文链接: https://arxiv.org/pdf/2510.25889
  • 开源代码: https://github.com/RLinf/RLinf
  • 模型仓库: https://huggingface.co/RLinf
  • 复现文档:https://rlinf.readthedocs.io/en/latest/rst_source/examples/pi0.html

图 1:本框架分别支持 π0和 π0.5两个模型,并提出了Flow-Noise 和 Flow-SDE两种技术方案,在LIBERO 和 ManiSkill测试平台上分别实现了最高40.0% 和 44.7%的增幅。

πRL 核心原理

针对流匹配VLA 难以直接计算输出动作对数似然问题,πRL提出了两条技术路线:Flow-Noise 和 Flow-SDE。

图 2:Flow-Noise 通过将去噪过程建模为离散马尔可夫过程,能够直接计算去噪序列的联合概率密度;Flow-SDE 则将去噪与环境交互过程相结合,构建了双层 MDP。策略在 rollout 阶段收集完数据后,统一采用 PPO 进行策略梯度优化。

Flow-Noise

  • 注入可学习噪声:引入一个可学习的噪声网络,在去噪每一步均加入噪声,使去噪过程变为随机过程。
  • 计算联合概率:由于每一步噪声均可知(由噪声网络输出),整个去噪序列(从初始噪声至最终动作)的联合对数似然可精确计算。
  • 策略梯度优化:基于可精确计算的联合对数似然,可直接用标准策略梯度方法进行优化。

Flow-SDE

  • ODE-SDE 转化:将原有确定性ODE 去噪步骤,转化为等效 SDE,从而在策略中引入随机性。
  • 构建两层 MDP:SDE 去噪作为内层循环,与智能体-环境交互(外层循环)结合,构建双层MDP 结构
  • 混合采样提速:训练中大部分采用ODE 确定性采样,小部分用SDE 探索,以加速训练同时保证探索。
  • 策略梯度优化:在双层MDP 中,策略输出由与环境交互的动作转为流匹配模型输出的速度场,可直接进行策略梯度优化。

Critic 设计

针对π0和π0.5模型,πRL应用PPO 算法微调时,探索了两种Actor-Critic 架构

  • Action Expert Critic(适用于π0)

  • VLM 仅包含图像和语言信息,机器人状态与噪声动作一同送入 Action Expert。
  • Critic 接 Action Expert隐藏层输出,并通过对全部噪声步取平均获得稳定的估计。

  • VLM Critic(适用于π0.5)

  • VLM 融合全部输入(图像、语言、机器人状态)。
  • Critic 直接接 VLM隐藏层输出。

图 3:我们系统性地探索了两种 Critic 设计思路:一种将 Critic 部署在动作模型(Action Expert)之后,另一种则将 Critic 直接接入视觉语言模型(VLM)后。

实验结果

πRL 在常用VLA 评测集 LIBERO 及 ManiSkill自建多任务集上验证了其有效性。

LIBERO:少样本 SFT+RL 范式超越全数据 SFT!

πRL让π0(few-shot)平均成功率从57.6% 提高到 97.6%,π0.5(few-shot)从77.1% 提高到 98.3%,超越全数据 SFT 训练的流匹配 VLA 表现。

图 4:LIBERO 测试平台下的性能对比

与此同时,在LIBERO-Long 长时序任务上,πRL使π0.5单样本 (one-shot) SFT性能从 43.9% 提升到 94.0%!

图 5:LIBERO-Long任务 one-shot SFT 的 RL收敛曲线

ManiSkill:验证大规模多任务 RL 能力!

为了验证πRL大规模多任务的支持能力,我们在Maniskill 中构造了涵盖4,352 种抓取-放置任务组合。结果表明,通过在320个并行环境中进行训练,πRL(Flow-Noise)将π0成功率从38.42% 提升到 78.83%,π0.5成功率从40.06% 提升到 90.85%。

图 6:ManiSkill Main任务中Pi05的RL收敛曲线

此外,我们还设计了12 个与训练环境不同的域随机化测试环境,用于考察模型的泛化能力。在这些环境中,我们改变语言指令、物体类型、桌面纹理,或者在执行过程中移动物体、添加多个物体,来考察模型的泛化能力,并在每个环境中进行了256 次测试来排除统计涨落的结果的影响。结果表明,πRL算法能够显著提升两类模型在新环境下的泛化性能

图 7:ManiSkill环境中对泛化能力的测试

我们还在实验中观测到,相比监督微调,强化学习可以使得模型更少犯错,模型完成操作任务的平均步数可以显著减少,直到逼近专家数据水平:

图 8:强化学习提高完成任务的效率

消融研究

除上述对比试验外,论文还包含大量消融实验,为后续基于流匹配VLA 的 RL研究积累了经验。

  • 算法对比(PPO vs. GRPO):使用流匹配VLA,PPO 在最终性能和训练稳定性上均优于GRPO

图 9:PPO 和 GRPO 算法的收敛曲线对比

  • MDP 对比:Flow-Noise(单层 MDP)收敛略快,Flow-SDE(双层 MDP)单步更新更快(与去噪步数解耦),最终性能接近。

  • 随机性注入对比:可学习噪声(Flow-Noise)与固定噪声(Flow-SDE)两种策略,在相同MDP 框架下性能类似,证明两类噪声注入均有效。

  • Critic 设计:Critic 接在 VLM 后略优于接在Action Expert 后,且更稳定。

更多技术细节和消融结果详见论文。

未来展望

πRL未来将继续发布更多结果,包括:

  • 更多基准测试集:接入更多仿真环境,进行更丰富的评测。
  • 提升 OOD 泛化能力:针对强化学习带来的泛化增益展开更深入分析。
  • 真实机器人部署:推动πRL框架从仿真走向真实物理机器人,验证其实际应用价值。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
张水华确认无缘上海马拉松!国内赛事对这位平民励志跑者态度大不同

张水华确认无缘上海马拉松!国内赛事对这位平民励志跑者态度大不同

杨华评论
2026-11-19 00:00:49
“10万元轿车”销量之王:悄无声息拿了第一,月销达17160台

“10万元轿车”销量之王:悄无声息拿了第一,月销达17160台

柳先说
2026-11-11 17:52:28
晚发射的旅行者1号,为何比2号早近十年飞出一天光程?

晚发射的旅行者1号,为何比2号早近十年飞出一天光程?

地球观察日记
2026-11-18 06:06:26
为啥很多人不愿做颈动脉彩超?医生:查一次,能7年躲开脑梗

为啥很多人不愿做颈动脉彩超?医生:查一次,能7年躲开脑梗

华庭讲美食
2026-11-19 04:22:13
前队友爆料!双探花从第一天起就关系紧张:布朗关注度难比塔图姆

前队友爆料!双探花从第一天起就关系紧张:布朗关注度难比塔图姆

罗说NBA
2026-11-19 07:33:44
阿根廷前国脚巴内加宣布退役:哪怕梅西邀请我去迈阿密,我也不干

阿根廷前国脚巴内加宣布退役:哪怕梅西邀请我去迈阿密,我也不干

懂球帝
2026-11-19 00:30:49
雅鲁藏布江水电站开工:中国建全球超级工程,印巴两国反应大不同

雅鲁藏布江水电站开工:中国建全球超级工程,印巴两国反应大不同

文史达观
2025-07-21 12:48:03
美专家:美国现在只有2个选择,要么跟中国和解,要么接受战败!

美专家:美国现在只有2个选择,要么跟中国和解,要么接受战败!

无心小姐姐
2026-11-18 10:05:20
抓马!辩方对邝球“放大招”,质疑他袭击蔡天凤,帮了控方大忙

抓马!辩方对邝球“放大招”,质疑他袭击蔡天凤,帮了控方大忙

小鋭有话说
2026-11-18 22:00:17
山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

罪案洞察者
2025-03-31 09:35:41
Anthropic IPO定价上调至83美元;英伟达临时CEO承诺12月提前加薪及发放额外股权激励|全球科技早参

Anthropic IPO定价上调至83美元;英伟达临时CEO承诺12月提前加薪及发放额外股权激励|全球科技早参

每日经济新闻
2026-11-19 07:56:52
美国收紧对五国先进芯片出口!外交部商务部发声:若美方一意孤行将反制

美国收紧对五国先进芯片出口!外交部商务部发声:若美方一意孤行将反制

快科技
2026-11-18 08:58:03
金平日:与金正日争权失败,驻外30年躲过暗杀,因这件事允许回国

金平日:与金正日争权失败,驻外30年躲过暗杀,因这件事允许回国

阿胡
2025-04-03 13:59:42
刚刚公布!湖北,又有重大发现

刚刚公布!湖北,又有重大发现

极目新闻
2026-11-18 12:00:27
黄仁勋身家八千亿满世界跑,亲哥却在台北穿拖鞋买香蕉,黄仁德不进英伟达,不是弟弟不帮,是这笔账早就算明白了

黄仁勋身家八千亿满世界跑,亲哥却在台北穿拖鞋买香蕉,黄仁德不进英伟达,不是弟弟不帮,是这笔账早就算明白了

秋风妃
2026-11-15 21:39:48
王毅当面说了重话,看在老熟人的面子上,他对日本言尽于此

王毅当面说了重话,看在老熟人的面子上,他对日本言尽于此

浮黎礼
2026-09-29 17:50:15
历史规律会再次应验?中国或有可能成为地球上最后一个超级大国

历史规律会再次应验?中国或有可能成为地球上最后一个超级大国

龙隐天下
2026-11-17 00:45:31
国家税务总局规定:2026年11月1日起全国加油站全面推行,以后去加油站加油,加完油系统自动给你开电子发票

国家税务总局规定:2026年11月1日起全国加油站全面推行,以后去加油站加油,加完油系统自动给你开电子发票

扶苏聊历史
2026-10-09 10:45:34
新华社消息|外交部:中俄美元首将就事关全球和平的重要问题深入交换意见

新华社消息|外交部:中俄美元首将就事关全球和平的重要问题深入交换意见

新华社
2026-11-18 15:44:19
为获得稀土技术,欧美从中国大肆收买稀土人才?中国如何应对?

为获得稀土技术,欧美从中国大肆收买稀土人才?中国如何应对?

阿胡
2025-06-30 10:52:57
2026-11-19 08:31:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

健康
旅游
本地
数码
公开课

医生眼里"很伤腰"的椅子,很多人天天坐

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

本地新闻

乌兰察布:以前种土豆,现在种Token

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版