网易首页 > 网易号 > 正文 申请入驻

GAIR Paper 108 | CVPR 2026 冠军奖论文:4K 参数撬动 VLA 泛化,空间才是真正的瓶颈!

0
分享至


机器人在新场景下失灵,根源不是不懂物理,而是空间表征错了——用极少参数校准这一层,就能打开通往原生世界动作模型的路。

作者丨张 璐

编辑丨齐铖湧

让机器人真正理解世界,需要更大的语言模型、更逼真的视频生成,还是别的什么?

中山大学与 X-Era AI Lab 团队的研究给出了一个意外的答案:很多时候,机器人在新场景下失灵,不是因为它不懂物理,而是因为它"看到的空间变形了"。

CVPR 2026 论文"VLA Models Are More Generalizable Than You Think: Revisiting Physical and Spatial Modeling"(获首届 CVPR Compute Transparency Champion Award)和 ACM MM 2026 论文"Robotic manipulation is vision-to-geometry mapping (f(v)→g): Vision-geometry backbones over language and video models"通过一组轻量改进实验指出:当前视觉-语言-动作模型(VLA)在新视角、光照、纹理和传感噪声下表现出的脆弱性,主要来自空间建模的错位,而不是物理推理或动作控制能力的缺失。


图 1:论文从 VLA 的视觉扰动问题出发,

把空间建模与物理建模的关系重新放到具身智能的中心。

视觉编码器在新视角下产生了偏移的空间表征,而后端的语言-动作推理与控制模块,其实仍然保留着可以被重新调动的物理建模能力。

这把改进焦点从"堆更多数据、上更大模型",转向了一个更具体的问题:模型看到的空间,是否足够真实、稳定?

01


VLA 里两个功能不同的部分

传统上,VLA 被视为一个端到端系统:输入图像和语言指令,输出机器人动作。但这篇论文提出了更细的拆分。


https://arxiv.org/pdf/2512.02902

第一部分是空间建模(Spatial Modeling),由视觉编码器承担。它负责从图像中恢复物体的位置、朝向、遮挡、接触关系和视角结构,形成供下游策略使用的空间表征。

第二部分是物理建模(Physical Modeling),由 VLM 与动作专家承担。它结合任务语言、空间表征和动作历史,进行高层推理并生成可执行动作序列。


图 2:VLA 可被拆解为空间建模与物理建模。

视角变化首先扰动空间表征,再影响后续动作生成。

论文指出,当相机视角发生变化时,真正改变的是空间配置,而不是任务语义,也不是执行任务所需的物理规律。所以,新视角下的性能下降,更可能来自空间表征与后端策略之间的错位,而不是整个 VLA 的物理推理失效。

这个判断意味着:我们不能只问模型是否学到了语言知识或视觉外观,还必须追问模型内部的空间,是否能够支撑动作。

02


用极少参数,验证空间校准的价值

为验证这一假设,论文提出了一套 one-shot 鲁棒适应框架,用极少量可学习参数校准 VLA 的视觉空间表征,其余部分保持不变。

Feature Token Modulation(FTM)只引入两个全局可学习向量,对视觉 token 做简单的仿射变换,即重新缩放和重新居中特征分布。只学习约 4K 个参数,就把 LIBERO 新视角任务成功率从 48.5% 提升到 87.1%。

Feature Linear Adaptation(FLA)进一步在 ViT 编码器的线性层中加入低秩更新,用约 4.7M 个参数完成更深层的特征对齐。在 LIBERO 新视角测试中达到 90.8% 成功率,超过强 LoRA 基线的 90.3%,同时参数量从 467M 降到 4.7M,减少约 99 倍。


图 3:FTM 与 FLA 通过轻量空间校准,

重新对齐视觉表征与后端动作生成模块。

在扩展的 LIBERO-V 视觉扰动基准上,FLA 在相机、光照、纹理和噪声四类扰动下取得 94.8% 平均成功率,FTM 以仅 0.004M 参数达到 90.5%。

这说明,对空间表征进行有针对性的轻量校准,效果不输全量微调。空间表征是 VLA 泛化链条中真正的瓶颈。

03


从这里出发,到原生世界动作模型

这篇论文的更深层启发在于:空间智能与物理智能,是两个可以被分析、校准、重组的层面。

空间智能对应模型对几何结构的建模能力——三维位置、视角变化、遮挡关系、物体布局;物理智能则对应模型对动作、接触、约束和因果后果的建模能力。

这种"空间与物理可分离"的发现,为原生世界动作模型(Veridical World Action Model,VWA)提供了一个自然的起点。

在 VWA 的框架里,空间不是视觉语义的附属品,而是世界动作模型的几何基础;物理也不是动作头后面训练出来的表面能力,而是从预训练阶段就要直接学习的时空演化与因果约束。


图 4:空间与物理的可分离性,为原生世界动作模型

提供了从几何到物理再到动作的路线。

VLA 中空间与物理的可分离性,说明具身智能模型可以被重新设计为从几何到物理再到动作的统一系统。

当前许多具身模型仍然沿用"先预训练视觉语言模型或视频模型,再后训练为动作模型"的路线,隐含地假设语言或视频中的世界知识最终会自然迁移为动作能力。

但真实机器人需要的不是预测下一个词元,也不只是生成未来画面,而是在物理世界中预测动作及其后果。

VWA 的核心主张正是对这一错位的修正:如果最终目标是让模型在物理空间中行动,那么预训练阶段就应该直接学习真实世界中的状态、动作和时空变化。

模型要学习密集的 4D+x 物理预测,包括未来三维位置、运动趋势、接触状态、材质属性、可操作性和环境约束。机器人动作,则可以被看作从这个密集物理预测场中读出的本体轨迹。


图 5:VWA的目标不是先学语言或视频再接动作头,

而是直接学习动作及其导致的未来世界演化。

真正可缩放的物理智能,可能不来自更大的语言头或更逼真的视频头,而来自一个预训练目标、表征空间和动作输出都与物理世界一致的原生世界动作模型。

04


透明计算,透明智能

值得一提的是,"VLA Models Are More Generalizable Than You Think"获得了首届CVPR Compute Transparency Champion Award,这是 CVPR 2026 Compute Reporting Initiative 的最高认可,表彰其在计算资源、实验方法和可复现细节上的示范性报告。

这一荣誉和论文的研究主题形成了有意思的呼应。具身智能需要模型理解真实世界,研究过程本身也需要真实、透明、可复现。

从空间建模与物理建模的分离,到原生世界动作模型的提出,再到计算资源与方法细节的公开报告,这项工作同时推进了两个方向的透明化:让机器人更清楚地理解物理世界,也让研究社区更清楚地理解智能模型是如何被训练、评估与复现的。

这两个方向的透明化,最终指向同一件事。

在世界模型、空间智能和物理智能快速汇合的当下,这两篇论文提供了一个简洁但重要的判断:对 VLA 的有效改进,不应只是把语言、视觉和动作继续堆叠,而应重新理解空间与物理的关系,并在此基础上构建真正原生于物理世界的动作模型。

上车,带你看遍全球 AI 顶会精华

可独家畅览:

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
重磅!华为拿下百年奥迪汽车

重磅!华为拿下百年奥迪汽车

大厂财经社
2026-10-24 08:02:56
我国的省委书记,在任职程序上,是中央任命还是地方选举?

我国的省委书记,在任职程序上,是中央任命还是地方选举?

向青春微调
2026-10-24 14:57:53
突发!任泽平公众号被禁止关注,刚发布《中国人口趋势报告2026》

突发!任泽平公众号被禁止关注,刚发布《中国人口趋势报告2026》

财通社
2026-10-24 13:15:25
陈永奇任江西省政府党组书记

陈永奇任江西省政府党组书记

界面新闻
2026-10-24 18:04:04
13岁女孩卖掉妈妈两条金项链,金店当面熔化,家长要求原样返还,当地市监局:双方已和解;店员称曾提出联系家长但女孩称不用

13岁女孩卖掉妈妈两条金项链,金店当面熔化,家长要求原样返还,当地市监局:双方已和解;店员称曾提出联系家长但女孩称不用

都市快报橙柿互动
2026-10-24 08:41:37
苍井空公开承认南京大屠杀:我在上学时学到过,一切的根源都在于战争

苍井空公开承认南京大屠杀:我在上学时学到过,一切的根源都在于战争

不掉线电波
2026-10-21 12:22:08
蓉城真要丢冠?末轮打平泰山仍夺冠!英博想逆转必须同时满足2条件

蓉城真要丢冠?末轮打平泰山仍夺冠!英博想逆转必须同时满足2条件

念洲
2026-10-24 17:31:48
唐登杰当选山西省委书记

唐登杰当选山西省委书记

观察者网
2026-10-24 14:19:08
对症下药了!老干妈AI分拣辣椒由600余人减至48人,人大代表提出机器替岗缴社保,舆论争议不断

对症下药了!老干妈AI分拣辣椒由600余人减至48人,人大代表提出机器替岗缴社保,舆论争议不断

火山詩话
2026-10-24 08:00:29
许家印向哈佛大学捐款12亿

许家印向哈佛大学捐款12亿

地产微资讯
2026-10-24 10:36:03
谭成任中共白玉县委书记

谭成任中共白玉县委书记

圣洁甘孜康巴先锋
2026-10-24 18:14:25
黄奇帆之子往事:从国际投行到神秘广微系再到魏桥的跳跃

黄奇帆之子往事:从国际投行到神秘广微系再到魏桥的跳跃

快刀财经
2026-10-24 02:07:44
勇士被轰17-0崩盘惜败灰熊:库里24分 探花25+13+6杰罗姆28分

勇士被轰17-0崩盘惜败灰熊:库里24分 探花25+13+6杰罗姆28分

醉卧浮生
2026-10-24 12:52:14
成都蓉城0:1大连后!连失6个夺冠点,1人成为罪人,英博2奇兵救主

成都蓉城0:1大连后!连失6个夺冠点,1人成为罪人,英博2奇兵救主

董说体育
2026-10-24 17:28:27
男子独自替发小还债,每月从6000多元工资中挤5000元还款,两年还十万余元,工资下降后称“实在还不动了”;经沟通每月偿还1800元

男子独自替发小还债,每月从6000多元工资中挤5000元还款,两年还十万余元,工资下降后称“实在还不动了”;经沟通每月偿还1800元

大风新闻
2026-10-24 11:55:03
若恢复这一规定,中国结婚率或将大幅上涨,离婚率也会随之下降

若恢复这一规定,中国结婚率或将大幅上涨,离婚率也会随之下降

掉了颗大白兔糖
2026-10-24 06:47:36
完胜2号种子!孙心然4连胜+连赢8盘,强势进决赛,夺冠=创历史!

完胜2号种子!孙心然4连胜+连赢8盘,强势进决赛,夺冠=创历史!

大秦壁虎白话体育
2026-10-24 15:38:44
歌手毛不易出席20多年好友婚礼致辞引争议:“虽然不是我的妻子”,但从校服到婚纱,是我生活中交集最多的人

歌手毛不易出席20多年好友婚礼致辞引争议:“虽然不是我的妻子”,但从校服到婚纱,是我生活中交集最多的人

台州交通广播
2026-10-23 17:49:45
油价大涨!火力全开,10月24日全国92/95号汽油“大涨近2.05元/升”,95汽油重返“9元时代”后继续上涨,10月29日调价,“变大涨”中

油价大涨!火力全开,10月24日全国92/95号汽油“大涨近2.05元/升”,95汽油重返“9元时代”后继续上涨,10月29日调价,“变大涨”中

猪友巴巴
2026-10-24 14:40:06
南宁一病重男子转院途中被网约车司机甩在路边,经抢救无效死亡!法院判了

南宁一病重男子转院途中被网约车司机甩在路边,经抢救无效死亡!法院判了

环球网资讯
2026-10-24 13:31:22
2026-10-24 18:32:49
AI科技评论 incentive-icons
AI科技评论
点评学术,服务AI
7738文章数 20795关注度
往期回顾 全部

科技要闻

写程序、做3D,新Kimi还有多少本事?

头条要闻

北京男子帮朋友代购字画 4000万购176幅鉴定仅值25万

头条要闻

北京男子帮朋友代购字画 4000万购176幅鉴定仅值25万

体育要闻

从乐透秀到总冠军再到没工作 一共要几年?

娱乐要闻

翁虹19岁女儿三次拒爱,在美国上学却“不随便”

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

大众安徽与众09正式上市 双十一权益价16.99万起

态度原创

艺术
数码
时尚
手机
房产

艺术要闻

乾隆年间有位楷书奇人,写出300年来“最美小楷”,他的功力即使“二田”也比不了!

数码要闻

AMD Zen 6首测曝光:同频单核性能较Zen 5最高快24%

中国韵特别策划|二胡:弦上双生,形停处意不断

手机要闻

OPPO /一加手机ColorOS“优行卡”新增支持“琴岛通”交通卡,可在山东青岛享公交地铁乘车优惠

房产要闻

百亩大盘又 +1!攒量超 200 万㎡!江东,要燃起来了!

无障碍浏览 进入关怀版