网易首页 > 网易号 > 正文 申请入驻

GAIR Paper 108 | CVPR 2026 冠军奖论文:4K 参数撬动 VLA 泛化,空间才是真正的瓶颈!

0
分享至


机器人在新场景下失灵,根源不是不懂物理,而是空间表征错了——用极少参数校准这一层,就能打开通往原生世界动作模型的路。

作者丨张 璐

编辑丨齐铖湧

让机器人真正理解世界,需要更大的语言模型、更逼真的视频生成,还是别的什么?

中山大学与 X-Era AI Lab 团队的研究给出了一个意外的答案:很多时候,机器人在新场景下失灵,不是因为它不懂物理,而是因为它"看到的空间变形了"。

CVPR 2026 论文"VLA Models Are More Generalizable Than You Think: Revisiting Physical and Spatial Modeling"(获首届 CVPR Compute Transparency Champion Award)和 ACM MM 2026 论文"Robotic manipulation is vision-to-geometry mapping (f(v)→g): Vision-geometry backbones over language and video models"通过一组轻量改进实验指出:当前视觉-语言-动作模型(VLA)在新视角、光照、纹理和传感噪声下表现出的脆弱性,主要来自空间建模的错位,而不是物理推理或动作控制能力的缺失。


图 1:论文从 VLA 的视觉扰动问题出发,

把空间建模与物理建模的关系重新放到具身智能的中心。

视觉编码器在新视角下产生了偏移的空间表征,而后端的语言-动作推理与控制模块,其实仍然保留着可以被重新调动的物理建模能力。

这把改进焦点从"堆更多数据、上更大模型",转向了一个更具体的问题:模型看到的空间,是否足够真实、稳定?

01


VLA 里两个功能不同的部分

传统上,VLA 被视为一个端到端系统:输入图像和语言指令,输出机器人动作。但这篇论文提出了更细的拆分。


https://arxiv.org/pdf/2512.02902

第一部分是空间建模(Spatial Modeling),由视觉编码器承担。它负责从图像中恢复物体的位置、朝向、遮挡、接触关系和视角结构,形成供下游策略使用的空间表征。

第二部分是物理建模(Physical Modeling),由 VLM 与动作专家承担。它结合任务语言、空间表征和动作历史,进行高层推理并生成可执行动作序列。


图 2:VLA 可被拆解为空间建模与物理建模。

视角变化首先扰动空间表征,再影响后续动作生成。

论文指出,当相机视角发生变化时,真正改变的是空间配置,而不是任务语义,也不是执行任务所需的物理规律。所以,新视角下的性能下降,更可能来自空间表征与后端策略之间的错位,而不是整个 VLA 的物理推理失效。

这个判断意味着:我们不能只问模型是否学到了语言知识或视觉外观,还必须追问模型内部的空间,是否能够支撑动作。

02


用极少参数,验证空间校准的价值

为验证这一假设,论文提出了一套 one-shot 鲁棒适应框架,用极少量可学习参数校准 VLA 的视觉空间表征,其余部分保持不变。

Feature Token Modulation(FTM)只引入两个全局可学习向量,对视觉 token 做简单的仿射变换,即重新缩放和重新居中特征分布。只学习约 4K 个参数,就把 LIBERO 新视角任务成功率从 48.5% 提升到 87.1%。

Feature Linear Adaptation(FLA)进一步在 ViT 编码器的线性层中加入低秩更新,用约 4.7M 个参数完成更深层的特征对齐。在 LIBERO 新视角测试中达到 90.8% 成功率,超过强 LoRA 基线的 90.3%,同时参数量从 467M 降到 4.7M,减少约 99 倍。


图 3:FTM 与 FLA 通过轻量空间校准,

重新对齐视觉表征与后端动作生成模块。

在扩展的 LIBERO-V 视觉扰动基准上,FLA 在相机、光照、纹理和噪声四类扰动下取得 94.8% 平均成功率,FTM 以仅 0.004M 参数达到 90.5%。

这说明,对空间表征进行有针对性的轻量校准,效果不输全量微调。空间表征是 VLA 泛化链条中真正的瓶颈。

03


从这里出发,到原生世界动作模型

这篇论文的更深层启发在于:空间智能与物理智能,是两个可以被分析、校准、重组的层面。

空间智能对应模型对几何结构的建模能力——三维位置、视角变化、遮挡关系、物体布局;物理智能则对应模型对动作、接触、约束和因果后果的建模能力。

这种"空间与物理可分离"的发现,为原生世界动作模型(Veridical World Action Model,VWA)提供了一个自然的起点。

在 VWA 的框架里,空间不是视觉语义的附属品,而是世界动作模型的几何基础;物理也不是动作头后面训练出来的表面能力,而是从预训练阶段就要直接学习的时空演化与因果约束。


图 4:空间与物理的可分离性,为原生世界动作模型

提供了从几何到物理再到动作的路线。

VLA 中空间与物理的可分离性,说明具身智能模型可以被重新设计为从几何到物理再到动作的统一系统。

当前许多具身模型仍然沿用"先预训练视觉语言模型或视频模型,再后训练为动作模型"的路线,隐含地假设语言或视频中的世界知识最终会自然迁移为动作能力。

但真实机器人需要的不是预测下一个词元,也不只是生成未来画面,而是在物理世界中预测动作及其后果。

VWA 的核心主张正是对这一错位的修正:如果最终目标是让模型在物理空间中行动,那么预训练阶段就应该直接学习真实世界中的状态、动作和时空变化。

模型要学习密集的 4D+x 物理预测,包括未来三维位置、运动趋势、接触状态、材质属性、可操作性和环境约束。机器人动作,则可以被看作从这个密集物理预测场中读出的本体轨迹。


图 5:VWA的目标不是先学语言或视频再接动作头,

而是直接学习动作及其导致的未来世界演化。

真正可缩放的物理智能,可能不来自更大的语言头或更逼真的视频头,而来自一个预训练目标、表征空间和动作输出都与物理世界一致的原生世界动作模型。

04


透明计算,透明智能

值得一提的是,"VLA Models Are More Generalizable Than You Think"获得了首届CVPR Compute Transparency Champion Award这是 CVPR 2026 Compute Reporting Initiative 的最高认可,表彰其在计算资源、实验方法和可复现细节上的示范性报告。

这一荣誉和论文的研究主题形成了有意思的呼应。具身智能需要模型理解真实世界,研究过程本身也需要真实、透明、可复现。

从空间建模与物理建模的分离,到原生世界动作模型的提出,再到计算资源与方法细节的公开报告,这项工作同时推进了两个方向的透明化:让机器人更清楚地理解物理世界,也让研究社区更清楚地理解智能模型是如何被训练、评估与复现的。

这两个方向的透明化,最终指向同一件事。

在世界模型、空间智能和物理智能快速汇合的当下,这两篇论文提供了一个简洁但重要的判断:对 VLA 的有效改进,不应只是把语言、视觉和动作继续堆叠,而应重新理解空间与物理的关系,并在此基础上构建真正原生于物理世界的动作模型。

上车,带你看遍全球 AI 顶会精华

可独家畅览:

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国又急了!中国买了光刻机却不生产芯片,这招把西方整破防了

美国又急了!中国买了光刻机却不生产芯片,这招把西方整破防了

何嗀爱捕渔
2026-07-15 19:42:51
福建市公安局分局刑事侦查大队四级警长黄泽凡接受监察调查

福建市公安局分局刑事侦查大队四级警长黄泽凡接受监察调查

大闽门户
2026-07-17 21:12:35
滚石主唱世界杯现场表情管理失败,全网疯传:他代表了全英国

滚石主唱世界杯现场表情管理失败,全网疯传:他代表了全英国

追星雷达站
2026-07-17 00:44:37
刚刚,全线拉升!美股存储巨头,今夜大反攻!

刚刚,全线拉升!美股存储巨头,今夜大反攻!

证券时报
2026-07-17 21:36:44
独生子女家庭一定要立遗嘱,而且遗嘱里一定要“加上这3句话”!

独生子女家庭一定要立遗嘱,而且遗嘱里一定要“加上这3句话”!

夜深爱杂谈
2026-07-17 19:43:38
伊朗发布打击美军目标画面 导弹贴有最高领袖海报

伊朗发布打击美军目标画面 导弹贴有最高领袖海报

新华社
2026-07-17 15:01:12
1983路虎110“灰鹅”拍卖,2300英里极致翻新

1983路虎110“灰鹅”拍卖,2300英里极致翻新

日常碎碎念啊
2026-07-16 00:57:54
五角大楼确认约旦美军基地F35机库遇袭致14死500伤

五角大楼确认约旦美军基地F35机库遇袭致14死500伤

赵钇是个热血青年
2026-07-17 14:21:23
突发大裁员!10万人或将失业

突发大裁员!10万人或将失业

新浪财经
2026-07-17 22:06:42
大跳水!日本股市跌超2400点,软银集团跌超7%!韩国股市今日休市,SK海力士美股跌超13%丨日韩股市

大跳水!日本股市跌超2400点,软银集团跌超7%!韩国股市今日休市,SK海力士美股跌超13%丨日韩股市

每日经济新闻
2026-07-17 08:49:08
严查泛滥!大学生“廉价暑假工”翻车刷屏:最该戒掉的不是吃苦,是盲目内卷

严查泛滥!大学生“廉价暑假工”翻车刷屏:最该戒掉的不是吃苦,是盲目内卷

浪子说
2026-07-17 19:40:46
6分59秒监控视频曝光:男子快递站杀害村书记,站门口打110报警;二审维持死刑判决

6分59秒监控视频曝光:男子快递站杀害村书记,站门口打110报警;二审维持死刑判决

大风新闻
2026-07-16 23:30:41
体育史最昂贵门票!世界杯决赛票价创纪录,最贵价格达128万元

体育史最昂贵门票!世界杯决赛票价创纪录,最贵价格达128万元

全景体育V
2026-07-16 20:37:07
#曝小S拒绝担任大S子女共同监护人#登上热搜,小S回应:法律上我无法当共同监护人,我们全家人都深爱着这两个孩子

#曝小S拒绝担任大S子女共同监护人#登上热搜,小S回应:法律上我无法当共同监护人,我们全家人都深爱着这两个孩子

大风新闻
2026-07-17 16:56:06
被许家印坑得最惨的4个人,曾经都是他称兄道弟的好朋友

被许家印坑得最惨的4个人,曾经都是他称兄道弟的好朋友

动物奇奇怪怪
2026-07-15 15:21:19
西蒙尼动情:为梅西跑死也值,要给他完美告别

西蒙尼动情:为梅西跑死也值,要给他完美告别

温柔且自由
2026-07-17 00:54:35
16GB+1TB!新机突然官宣:8月12日,正式发布!

16GB+1TB!新机突然官宣:8月12日,正式发布!

科技堡垒
2026-07-16 09:54:57
养不起公务员了?省考大缩招背后的财政大账,真正的稳定已变天

养不起公务员了?省考大缩招背后的财政大账,真正的稳定已变天

蜉蝣说
2026-07-16 11:42:37
跟女婿同住2年后,70岁阿姨自述:我总算明白,晚年该依靠谁养老

跟女婿同住2年后,70岁阿姨自述:我总算明白,晚年该依靠谁养老

烙任情感
2026-07-16 10:35:02
101亿!阿里拿下朴朴超市

101亿!阿里拿下朴朴超市

Foodaily每日食品
2026-07-17 12:22:12
2026-07-18 00:12:49
AI科技评论 incentive-icons
AI科技评论
点评学术,服务AI
7487文章数 20764关注度
往期回顾 全部

科技要闻

WAIC2026看什么?这份"不迷路"攻略请收好

头条要闻

美媒问特朗普言论会否影响中国领导人访美 外交部回应

头条要闻

美媒问特朗普言论会否影响中国领导人访美 外交部回应

体育要闻

30亿欧对决,世界杯季军战毫无意义?

娱乐要闻

曲婉婷自爆患癌!全网喊“苍天绕过谁”

财经要闻

梁文锋不需要天才

汽车要闻

把中国超跑卖到英国,比亚迪正在被世界看见

态度原创

家居
数码
本地
公开课
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

亮源新创姜旭:世界模型的最终目标是让机器人理解并参与物理世界

本地新闻

十年了,为什么鬼怪CP还能让人美美嗑上?

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

伊朗议长:这是一场“生存之战”

无障碍浏览 进入关怀版