网易首页 > 网易号 > 正文 申请入驻

港大团队提出GPC框架,实现机器人「策略组合」

0
分享至

本文一作曹嘉航,香港大学在读博士生,前北京人形机器人创新中心实习生;共同一作黄翊泽,上海交通大学在读本科生;通讯导师 Andrew F. Luo,香港大学助理教授。

在机器人学习领域,提升基于生成式模型的控制策略(Policy)的性能通常意味着投入巨额成本进行额外的数据采集和模型训练,这极大地限制了机器人能力的快速迭代与升级。面对模型性能的瓶颈,如何在不增加训练负担的情况下,进一步挖掘并增强现有策略的潜力?

香港大学团队开创性地提出了GPC(General Policy Composition,通用策略组合)框架,为这一挑战提供了全新的免训练解决方案。该框架通过在测试时(test-time)对多个预训练模型进行 “策略组合”,能够创造出一个性能超越任何单一父策略的 “组合策略”。

GPC 作为一个 “即插即用” 的通用框架,能够灵活融合不同架构(如 Diffusion-based Policy、Flow-based Policy)、不同模态(如视觉-动作模型 VA、视觉-语言-动作模型 VLA)的机器人策略,打破了传统性能提升方式对数据和算力的依赖。

  • 论文标题:Compose Your Policies! Improving Diffusion-based or Flow-based Robot Policies via Test-time Distribution-level Composition
  • 论文地址: https://arxiv.org/pdf/2510.01068
  • 项目地址:https://sagecao1125.github.io/GPC-Site/
  • 代码地址:https://github.com/SageCao1125/GPC

提高策略性能

GPC 免训练范式登场

尽管基于扩散模型(Diffusion-based models)的机器人策略已取得显著进展,但其性能的提升始终受限于模型容量和数据规模。传统的后训练优化方法,如监督微调(supervised fine-tuning)需要昂贵的数据收集,而强化学习(reinforcement learning)则面临复杂的奖励工程和大量的在线交互挑战。这些限制使得提升现有先进模型的性能变得既昂贵又耗时。

GPC 框架提出了一种提升策略性能的新范式。它不再依赖于 “更多训练”,而是巧妙地 “组合现有策略”。

GPC 的核心思想是在机器人执行任务的瞬间,通过凸组合(convex combination)的方式,将多个预训练策略的 “决策分数(distributional scores)” 进行动态融合。这种方式不仅简单高效,更重要的是,它建立在坚实的理论基础之上。

创新理论基石:证明 “1+1>2” 的组合潜力


这一理论基石主要包括两个核心发现。

功能层面的提升(Functional-Level Improvement):研究团队证明,对多个预训练策略的决策分数(distributional scores)进行凸组合(convex combination),能够生成一个在单步上具有更低误差的组合分数,它比任何一个单一策略的分数都要更精确。

系统层面的稳定性(System-Level Stability):通过建立一个 Grönwall 型界限,研究证明了单步的误差改善能够沿着整个轨迹传播,从而确保了组合策略在整个生成轨迹上也具有系统性的性能提升和更低的轨迹采样误差。

正是基于这一坚实的数学和系统稳定性证明,GPC 框架得以成立,为机器人能力的增强提供了全新的、有理论支撑的免训练路径。

通用 “策略组合器”

免训练实现 “即插即用”


通用策略组合(GPC)框架的核心优势在于其 “即插即用”(plug-and-play)的通用性,它以免训练的方式,轻松整合了各种机器人策略,打破了模型架构和模态的界限。

GPC 作为一种全新的范式,不再依赖于额外的模型训练,而是通过在测试时(test-time)将多个预训练策略的 “决策分数” 进行动态融合来实现性能增强。

异构策略的灵活架构组合

GPC 的通用性建立在其独特的分数组合机制上,使其能够跨越策略架构和输入模态进行灵活组合:

  • 跨架构兼容:GPC 能够将基于扩散模型(Diffusion-based Policy)的策略或者基于流匹配(Flow-based Policy)的策略进行组合。这是因为无论策略是基于哪种生成式模型训练的,它们都能在底层被统一为分数函数(score function)的表示。
  • 跨模态 / 跨任务融合:GPC 灵活整合了不同输入条件下的策略。无论是视觉 - 动作(VA)模型、视觉-语言-动作(VLA)模型,还是处理不同视觉模态(如 RGB 图像和点云)的策略,GPC 都能将它们的优势汇聚到一个更强大的组合策略中。

统一的分数凸组合机制

这种机制通过凸组合的方式,有效地平衡了来自不同条件的信息,使合成的决策分数保持在个体策略的可行凸包内,从而避免了策略执行中的极端或不稳定行为,生成更稳定、更连贯的动作轨迹。

GPC 与 Superposition(叠加原理)的扩展

除了核心的凸组合方式外,GPC 框架还自然地连接了叠加原理(Superposition),提供了更强大的组合操作符。

  • Logical OR(逻辑或):对应于从混合分布中采样。它通过使用 softmax 函数来加权,从而确定每个策略分数在采样时间步中的相对贡献。
  • Logical AND(逻辑与):对应于分布的交集,旨在强制各策略之间达成一致性。它通过求解一个线性系统来计算权重,确保在采样过程中不同策略保持一致。

这些扩展的组合操作符(Logical OR 和 Logical AND)为 GPC 提供了放大策略性能的潜力,能够通过更强的约束或混合机制来进一步提升控制效果。

权重搜索

为不同任务 “量身定制” 最优策略


GPC 框架的权重搜索机制,能为每一次策略组合找到最优的权重配置,从而为不同的任务和场景 “量身定制” 出最强的 “组合策略”。这一机制建立在严谨的理论分析之上,证明了最优权重的存在性,而广泛的实验则揭示了权重分配的关键作用。

通过在测试时(test-time) 对组合权重进行搜索,GPC 能够灵活地适应各种任务场景,持续地实现性能提升。以下是实验中总结出的三大核心发现:

  • 发现 1:捕捉更广阔的通用分布 当被组合的两个策略都具有中等(例如,高于 30%)的准确率时,GPC 在适当的权重配置下,通常能实现比单一基线策略更高的准确率。这种性能的提升,反映了组合后的分数分布捕捉到了更广义的分布,减少了对特定条件下的单一决策的依赖。
  • 发现 2:避免弱策略的负面影响 实验表明,当其中一个策略的准确率显著较低时,GPC 难以超越表现最好的那个基线策略的峰值性能。这提示了来自低准确率模态的分数可能会显著干扰联合分布,从而降低整体组合策略的表现。
  • 发现 3:强策略主导最优结果 GPC 性能的提升总是伴随着表现较好的基线策略获得更大权重时被最大化。这一发现强调了为强分布分配更高权重的必要性,它能有效地将组合策略的决策导向更可靠的“共识区域”,从而最大化 GPC 的有效性。

这些发现共同强调了 GPC 在利用不同条件策略优势方面的通用性,以及适当调整权重以适应每个策略性能的重要性。

实验验证

从仿真到真实世界


经过严格测试,GPC 在仿真与真实环境中均展现出超越单一基线方法的性能.

仿真环境测试:在 Robomimic、PushT 和 RoboTwin 等多个主流仿真测试平台上,GPC 的应用带来了显著的性能提升。与单一基线模型相比,GPC 策略在 Robomimic 和 PushT 任务上实现了最高 7.55% 的平均成功率提升,在复杂的 RoboTwin 双臂协作任务上提升了 7%。这表明 GPC 不同任务执行的有效性上表现出色,为实际应用节省了大量的时间和资源。

真实世界:我们采用 PiPER 机器人进行了真机实验。如 Table 5 所示,在 4 个实际任务中,GPC 在每个任务对比单一基线成功率拥有 5-10% 的提升,展示了在真实环境中 GPC 框架的提升策略性能的能力。

下面展示了清理桌面的真机视频:

DP 失败 ❌

DP3 失败 ❌

GPC 成功 ✅

想了解更多关于 GPC 的详细信息,可访问项目主页:

https://sagecao1125.github.io/GPC-Site/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
于月仙车祸去世5年,丈夫张学松披露关键细节:同车4人只她没回来,骆驼整个砸在车顶

于月仙车祸去世5年,丈夫张学松披露关键细节:同车4人只她没回来,骆驼整个砸在车顶

唠叨说历史
2026-11-16 15:37:18
香港名媛私人合照外泄,婚变传出三个月,发律师信要求老公交代情况

香港名媛私人合照外泄,婚变传出三个月,发律师信要求老公交代情况

粤睇先生
2026-11-20 23:36:08
叶檀婚姻终于迎来好消息!立完遗嘱选临终病房,丈夫将在明年露面

叶檀婚姻终于迎来好消息!立完遗嘱选临终病房,丈夫将在明年露面

暖心萌阿菇凉
2026-11-20 02:31:12
每天只睡四五小时!舟山女子身兼4份工作月入30000走红,网友调侃:佩服,平均每份工资8000元

每天只睡四五小时!舟山女子身兼4份工作月入30000走红,网友调侃:佩服,平均每份工资8000元

火山詩话
2026-11-21 09:32:16
土耳其的女子确实漂亮,兼具典雅容貌与异域风情

土耳其的女子确实漂亮,兼具典雅容貌与异域风情

娱你同欢
2026-10-07 11:06:22
大批物价跌回20年前!东西越来越便宜,为啥日子却更难了?

大批物价跌回20年前!东西越来越便宜,为啥日子却更难了?

华人星光
2026-11-19 13:45:11
WorkBuddy上线电脑操控能力:无需开放接口,可代用户操作客户端

WorkBuddy上线电脑操控能力:无需开放接口,可代用户操作客户端

和讯网
2026-11-20 21:21:08
8.5跌到6.3,《狂飙2.0》,还是别吹了

8.5跌到6.3,《狂飙2.0》,还是别吹了

独立鱼
2026-11-20 23:32:52
乌克兰袭击克里米亚大桥之后,欧洲国家骤然改口,宣称不会同俄罗斯爆发冲突,这和先前的态度,显然已经发生了180度大转弯

乌克兰袭击克里米亚大桥之后,欧洲国家骤然改口,宣称不会同俄罗斯爆发冲突,这和先前的态度,显然已经发生了180度大转弯

林杰论事
2026-11-19 12:45:59
2027年,第一个被“砍掉”的,或将是中国邮政的大量线下营业厅

2027年,第一个被“砍掉”的,或将是中国邮政的大量线下营业厅

麓谷隐士
2026-11-21 07:15:17
全网AI集体翻车!为什么它们死活画不对13个鸡蛋?

全网AI集体翻车!为什么它们死活画不对13个鸡蛋?

果壳
2026-11-19 22:37:33
江南大学研一新生入学两月退学,拿到五位数offer辅导员破防

江南大学研一新生入学两月退学,拿到五位数offer辅导员破防

朗威谈星座
2026-11-21 10:30:51
号商下乡收Claude账号:Anthropic算尽了一切,唯独没算到中国号商会上山下乡!

号商下乡收Claude账号:Anthropic算尽了一切,唯独没算到中国号商会上山下乡!

城事堂
2026-11-19 08:49:08
集体破防!大连球迷“全城失恋”,绝对核心离去,或成亚冠外援

集体破防!大连球迷“全城失恋”,绝对核心离去,或成亚冠外援

汪星人哟
2026-11-21 11:44:15
上海体育场恒星之城演唱会连演三天!徐汇警方提醒:轨交出入口管控请留意

上海体育场恒星之城演唱会连演三天!徐汇警方提醒:轨交出入口管控请留意

上海徐汇
2026-11-21 12:09:58
兵败如山倒?国产新能源或已经证明:中国根本不需要二线豪华品牌

兵败如山倒?国产新能源或已经证明:中国根本不需要二线豪华品牌

浩渺青史
2026-11-21 03:59:39
深圳这次APEC,有个细节太提气了。各国嘉宾一下飞机、进会场,坐的啥车?是红旗,是腾势

深圳这次APEC,有个细节太提气了。各国嘉宾一下飞机、进会场,坐的啥车?是红旗,是腾势

扶苏聊历史
2026-11-19 15:27:26
深圳APEC最治愈的一幕:真正的大国格局,从不用统一定义体面!

深圳APEC最治愈的一幕:真正的大国格局,从不用统一定义体面!

故事终将光明磊落
2026-11-21 09:45:41
董路怒批浮嶋敏:3年不练5后卫一定是错的!我可是带队踢过皇马巴萨

董路怒批浮嶋敏:3年不练5后卫一定是错的!我可是带队踢过皇马巴萨

念洲
2026-11-21 10:27:40
又一个矛盾文学奖得主抄袭!

又一个矛盾文学奖得主抄袭!

智识漂流
2026-11-15 19:54:43
2026-11-21 13:36:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142761关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

健康
家居
手机
艺术
教育

医生眼里"很伤腰"的椅子,很多人天天坐

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

首款鸿蒙AI手机!华为星芒OSTA O1Pro发布,售价5499元起

艺术要闻

2026第七届民族美术作品展 油画选二

教育要闻

五角星数线段,看着简单,多数孩子数错

无障碍浏览 进入关怀版