网易首页 > 网易号 > 正文 申请入驻

GAIR Paper 108 | CVPR 2026 冠军奖论文:4K 参数撬动 VLA 泛化,空间才是真正的瓶颈!

0
分享至


机器人在新场景下失灵,根源不是不懂物理,而是空间表征错了——用极少参数校准这一层,就能打开通往原生世界动作模型的路。

作者丨张 璐

编辑丨齐铖湧

让机器人真正理解世界,需要更大的语言模型、更逼真的视频生成,还是别的什么?

雷峰网小编在中山大学与 X-Era AI Lab 团队的研究中f x了一个意外的答案:很多时候,机器人在新场景下失灵,不是因为它不懂物理,而是因为它"看到的空间变形了"。

CVPR 2026 论文"VLA Models Are More Generalizable Than You Think: Revisiting Physical and Spatial Modeling"(获首届 CVPR Compute Transparency Champion Award)和 ACM MM 2026 论文"Robotic manipulation is vision-to-geometry mapping (f(v)→g): Vision-geometry backbones over language and video models"通过一组轻量改进实验指出:当前视觉-语言-动作模型(VLA)在新视角、光照、纹理和传感噪声下表现出的脆弱性,主要来自空间建模的错位,而不是物理推理或动作控制能力的缺失。


图 1:论文从VLA 的视觉扰动问题出发,

把空间建模与物理建模的关系重新放到具身智能的中心。

视觉编码器在新视角下产生了偏移的空间表征,而后端的语言-动作推理与控制模块,其实仍然保留着可以被重新调动的物理建模能力。

这把改进焦点从"堆更多数据、上更大模型",转向了一个更具体的问题:模型看到的空间,是否足够真实、稳定?


01


VLA 里两个功能不同的部分

传统上,VLA 被视为一个端到端系统:输入图像和语言指令,输出机器人动作。但这篇论文提出了更细的拆分。


https://arxiv.org/pdf/2512.02902

第一部分是空间建模(Spatial Modeling),由视觉编码器承担。它负责从图像中恢复物体的位置、朝向、遮挡、接触关系和视角结构,形成供下游策略使用的空间表征。

第二部分是物理建模(Physical Modeling),由 VLM 与动作专家承担。它结合任务语言、空间表征和动作历史,进行高层推理并生成可执行动作序列。


图 2:VLA 可被拆解为空间建模与物理建模。

视角变化首先扰动空间表征,再影响后续动作生成。

论文指出,当相机视角发生变化时,真正改变的是空间配置,而不是任务语义,也不是执行任务所需的物理规律。所以,新视角下的性能下降,更可能来自空间表征与后端策略之间的错位,而不是整个 VLA 的物理推理失效。

这个判断意味着:我们不能只问模型是否学到了语言知识或视觉外观,还必须追问模型内部的空间,是否能够支撑动作。


02


用极少参数,验证空间校准的价值

为验证这一假设,论文提出了一套 one-shot 鲁棒适应框架,用极少量可学习参数校准 VLA 的视觉空间表征,其余部分保持不变。

Feature Token Modulation(FTM)只引入两个全局可学习向量,对视觉 token 做简单的仿射变换,即重新缩放和重新居中特征分布。只学习约 4K 个参数,就把 LIBERO 新视角任务成功率从 48.5% 提升到 87.1%。

Feature Linear Adaptation(FLA)进一步在 ViT 编码器的线性层中加入低秩更新,用约 4.7M 个参数完成更深层的特征对齐。在 LIBERO 新视角测试中达到 90.8% 成功率,超过强 LoRA 基线的 90.3%,同时参数量从 467M 降到 4.7M,减少约 99 倍。


图 3:FTM 与 FLA 通过轻量空间校准,

重新对齐视觉表征与后端动作生成模块。

在扩展的 LIBERO-V 视觉扰动基准上,FLA 在相机、光照、纹理和噪声四类扰动下取得 94.8% 平均成功率,FTM 以仅 0.004M 参数达到 90.5%。

这说明,对空间表征进行有针对性的轻量校准,效果不输全量微调。空间表征是 VLA 泛化链条中真正的瓶颈。


03


从这里出发,到原生世界动作模型

这篇论文的更深层启发在于:空间智能与物理智能,是两个可以被分析、校准、重组的层面。

空间智能对应模型对几何结构的建模能力——三维位置、视角变化、遮挡关系、物体布局;物理智能则对应模型对动作、接触、约束和因果后果的建模能力。

这种"空间与物理可分离"的发现,为原生世界动作模型(Veridical World Action Model,VWA)提供了一个自然的起点。

在 VWA 的框架里,空间不是视觉语义的附属品,而是世界动作模型的几何基础;物理也不是动作头后面训练出来的表面能力,而是从预训练阶段就要直接学习的时空演化与因果约束。


图 4:空间与物理的可分离性,为原生世界动作模型

提供了从几何到物理再到动作的路线。

VLA 中空间与物理的可分离性,说明具身智能模型可以被重新设计为从几何到物理再到动作的统一系统。

当前许多具身模型仍然沿用"先预训练视觉语言模型或视频模型,再后训练为动作模型"的路线,隐含地假设语言或视频中的世界知识最终会自然迁移为动作能力。

但真实机器人需要的不是预测下一个词元,也不只是生成未来画面,而是在物理世界中预测动作及其后果。

VWA 的核心主张正是对这一错位的修正:如果最终目标是让模型在物理空间中行动,那么预训练阶段就应该直接学习真实世界中的状态、动作和时空变化。

模型要学习密集的 4D+x 物理预测,包括未来三维位置、运动趋势、接触状态、材质属性、可操作性和环境约束。机器人动作,则可以被看作从这个密集物理预测场中读出的本体轨迹。


图 5:VWA的目标不是先学语言或视频再接动作头,

而是直接学习动作及其导致的未来世界演化。

真正可缩放的物理智能,可能不来自更大的语言头或更逼真的视频头,而来自一个预训练目标、表征空间和动作输出都与物理世界一致的原生世界动作模型。


04


透明计算,透明智能

值得一提的是,"VLA Models Are More Generalizable Than You Think"获得了首届CVPR Compute Transparency Champion Award,这是 CVPR 2026 Compute Reporting Initiative 的最高认可,表彰其在计算资源、实验方法和可复现细节上的示范性报告。

这一荣誉和论文的研究主题形成了有意思的呼应。具身智能需要模型理解真实世界,研究过程本身也需要真实、透明、可复现。

从空间建模与物理建模的分离,到原生世界动作模型的提出,再到计算资源与方法细节的公开报告,这项工作同时推进了两个方向的透明化:让机器人更清楚地理解物理世界,也让研究社区更清楚地理解智能模型是如何被训练、评估与复现的。

这两个方向的透明化,最终指向同一件事。

在世界模型、空间智能和物理智能快速汇合的当下,这两篇论文提供了一个简洁但重要的判断:对 VLA 的有效改进,不应只是把语言、视觉和动作继续堆叠,而应重新理解空间与物理的关系,并在此基础上构建真正原生于物理世界的动作模型。

上车,带你看遍全球 AI 顶会精华

可独家畅览:

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
突发!688500,董事长被刑拘

突发!688500,董事长被刑拘

每日经济新闻
2026-07-17 19:49:05
刚刚,茅台宣布:明天起涨价!

刚刚,茅台宣布:明天起涨价!

每日经济新闻
2026-07-17 21:43:06
在伊朗吃尽苦头,特朗普不再克制!再不投降将投下“经济核弹”

在伊朗吃尽苦头,特朗普不再克制!再不投降将投下“经济核弹”

寂寞染指悲伤
2026-07-17 20:55:44
CCTV5直播调整:中国女篮VS加拿大的4大改变助大胜

CCTV5直播调整:中国女篮VS加拿大的4大改变助大胜

吕彍极限手工
2026-07-17 12:09:16
唐山杀警案,追凶整9年没结果,凶手竟每天出现在案情分析会上

唐山杀警案,追凶整9年没结果,凶手竟每天出现在案情分析会上

小哥很OK
2025-12-16 20:21:01
OPPO做出了取舍!回归半年,realme官宣中国市场按下暂停键

OPPO做出了取舍!回归半年,realme官宣中国市场按下暂停键

时代周报
2026-07-16 21:18:25
日本:太阳能板需要镀银,卡中国脖子!中国:好怕怕,那我换成铜

日本:太阳能板需要镀银,卡中国脖子!中国:好怕怕,那我换成铜

明天见灌装冰块
2026-07-13 00:33:22
33岁邓伦精神异常?和经纪人聚会紧张啃手,满脸愁容表情痴傻状态差

33岁邓伦精神异常?和经纪人聚会紧张啃手,满脸愁容表情痴傻状态差

扒星人
2026-07-17 13:56:03
姆巴佩、凯恩相继退出,金球奖失去悬念,99%在以下三人之间产生

姆巴佩、凯恩相继退出,金球奖失去悬念,99%在以下三人之间产生

行舟问茶
2026-07-16 15:39:23
向太曝施南生临终前内幕,插管住院一周就离世,澄清徐克没孩子

向太曝施南生临终前内幕,插管住院一周就离世,澄清徐克没孩子

娱乐E君
2026-07-17 10:57:21
全新长安启源Q06:十万的价格,小米的视觉享受

全新长安启源Q06:十万的价格,小米的视觉享受

车动态
2026-07-16 19:06:21
从贝林厄姆的笔直发际线,看黑人理发文化

从贝林厄姆的笔直发际线,看黑人理发文化

白宸侃片
2026-07-12 00:53:43
她明明是乔冠华的千金,却被继母百般刁难,连保姆都敢给她罪受

她明明是乔冠华的千金,却被继母百般刁难,连保姆都敢给她罪受

落雪听梅a
2026-07-17 19:50:10
云南警官学院、山西警察学院,暴跌!

云南警官学院、山西警察学院,暴跌!

勋哥教你填志愿
2026-07-14 11:00:12
新型Rust远控伪装NVIDIA引诱Windows

新型Rust远控伪装NVIDIA引诱Windows

报错免疫体
2026-07-16 02:55:15
明明治安比美国好,为什么有钱人移民都不来中国

明明治安比美国好,为什么有钱人移民都不来中国

怪味历史连连看
2026-07-17 22:04:33
广东今年的高校录取线,分数能上外地末流985的考生,扎堆往深大、广工的热门专业

广东今年的高校录取线,分数能上外地末流985的考生,扎堆往深大、广工的热门专业

户外阿毽
2026-07-17 16:15:33
俄生死关头,普京坚持不求中国!中国迅速做了一个重要决定!

俄生死关头,普京坚持不求中国!中国迅速做了一个重要决定!

雨诺翛翛
2026-07-17 14:06:02
会哭的孩子!阿媒质疑赖斯3次捂嘴未被处罚,梅西恩佐等人未向裁判投诉

会哭的孩子!阿媒质疑赖斯3次捂嘴未被处罚,梅西恩佐等人未向裁判投诉

818体育
2026-07-17 16:29:28
球迷涌入姆巴佩女友社媒主页留言:为了西班牙,请让他累一点

球迷涌入姆巴佩女友社媒主页留言:为了西班牙,请让他累一点

懂球帝
2026-07-15 00:29:18
2026-07-17 23:04:49
雷峰网 incentive-icons
雷峰网
关注智能与未来!
70162文章数 656185关注度
往期回顾 全部

科技要闻

WAIC2026看什么?这份"不迷路"攻略请收好

头条要闻

重庆彭水山体崩塌已致8人遇难 还有34人失联

头条要闻

重庆彭水山体崩塌已致8人遇难 还有34人失联

体育要闻

30亿欧对决,世界杯季军战毫无意义?

娱乐要闻

曲婉婷自爆患癌!全网喊“苍天绕过谁”

财经要闻

梁文锋不需要天才

汽车要闻

把中国超跑卖到英国,比亚迪正在被世界看见

态度原创

旅游
艺术
健康
本地
亲子

旅游要闻

研学日记|学习之旅,感悟之旅

艺术要闻

470米,烂尾的“重庆第一高楼”,无人接盘!

刮痧也会刮出脑梗?讲个真实案例

本地新闻

十年了,为什么鬼怪CP还能让人美美嗑上?

亲子要闻

脏脏的小挖机 #儿童动画挖掘机#挖掘机

无障碍浏览 进入关怀版