网易首页 > 网易号 > 正文 申请入驻

Meta蔡志鹏新作VLM³:全面揭示三维视觉的Bitter Lesson

0
分享至



蔡志鹏博士(https://zhipengcai.github.io/)是美国 Meta 公司的高级研究员,博士毕业于澳大利亚阿德莱德大学。他的研究主要集中在 Physical Intelligence,包括三维视觉、多模态大模型等。他的工作已在领域顶级会议杂志上发表超过 20 篇。其中 10 篇文章被选为顶级会议口头或特邀报告,对鲁棒估计计算复杂度的理论证明工作被选为 ECCV18 12 篇最佳论文之一。

Meta 发布了一项令人震撼的研究工作 VLM³,首次揭示了三维视觉学习的 Bitter Lesson:标准的视觉语言模型 + scale 数据就是最简单有效的范式,针对特定任务的架构、损失函数以及数据增强的设计,甚至是 regression 的 formulation,均不是三维视觉学习的必要条件。



当前的视觉语言 AI 模型(Vision Language Models, VLMs)通过统一的模型架构能够灵活处理各类不同的视觉任务。然而,尽管在语义理解、视觉问答、图像指令等任务上表现优异,它们在三维视觉方面仍然表现不佳。相比之下,专家视觉模型(expert vision models)在绝对深度估计(metric depth estimation)等三维理解任务上,凭借专门设计的网络结构、损失函数及数据增强,已经达到了超越人类的精度。

这就带来了一个核心问题:「视觉语言模型是否在三维视觉学习方面无法替代专家模型?」VLM³ 首次证明了该问题的答案是否定的!

VLM³ 通过极简的设计,在极为多样的三维视觉任务中媲美或超越专家视觉模型,并大幅超越最先进的视觉语言模型:1)在单目深度估计上 match UnidepthV2 及 MoGe2;2)在目标级三维理解任务上超越 SpatialRGPT;3)在像素匹配任务上超越 DKM 和 RoMa;4)在相机姿态估计上 match DA3,超越 VGGT。



  • 论文地址:https://arxiv.org/pdf/2605.30561
  • 代码地址:https://github.com/facebookresearch/VLM3

二、亮点

在此之前,即便是最先进的 VLM 在标准的三维视觉任务中均远远落后于专家视觉模型。

VLM³ 通过详尽的实验发现,标准的 VLM 仅需要 1)相机焦距归一化;2)像素空间归一化,就能够以令人惊叹的简洁方式有效学会各类三维视觉模型,在 1)单目深度估计中 match UniDepthV2 及 MoGe2;2)在目标级别三维理解超越 SpatialRGPT;3)在像素匹配任务上超越 DKM 和 RoMa;4)在相机姿态估计上 match DA3 并超越 VGGT。



和之前的三维视觉 VLM 不同,VLM³ 既不需要改变 VLM 的架构,也不需要在图片上渲染 marker。相比于专家视觉模型需要大量的架构、损失函数及数据增强方面的复杂设计,VLM³ 仅需要标准的 VLM 架构(如 Qwen3-vl-4B)和训练(基于文字的 SFT)就能够在极为多样的三维任务上达到 SOTA。

这种简洁的训练推翻了之前三维视觉的学习范式,并揭示了三维视觉的 Bitter Lesson:我们其实完全不需要针对特定三维视觉任务人为设计复杂的架构、损失函数及数据增强。通过简单的视觉语言建模 + scale 数据就能够达到同样的效果,并且于其他非三维视觉任务在统一的语言模型训练框架下完全兼容。这使得三维视觉不再需要与视觉语言模型的大规模预训练分离,同时我们能够使用同样的方式来实现三维视觉的 scaling law。

同时 VLM³ 的成功也意味着三维视觉的学习远比我们想象中的要容易:除开不需要特殊架构、损失函数等,我们甚至可以不依赖回归(regression)来学会 fine-grained 3D understanding,这在之前的工作中是难以想象的,因为在连续的输出空间进行回归是绝大多数三维视觉模型的核心设计。

三、主要结果 / 性能对比

在四大三维视觉任务上性能显著优于最先进的 VLM

在单目深度估计上将 DepthLM 的准确率从 84 提升至 90,并且训练及推理更加简单高效,无需渲染 marker。

在目标级别三维理解上用同样的训练数据超越 SpatialRGPT,并且无需额外的 encoder,模型参数少一半(4B vs 8B)。

在多视角几何任务上如像素匹配及相机姿态估计上远超 Qwen3-vl-32B。



同时在与先进的专家视觉模型(如 MoGe2、DA3、RoMa 等)的对比中,VLM³ 也毫不逊色,并且完全不需要复杂的架构、损失函数及数据增强。





四、意义 / 应用前景

VLM³ 重新定义了三维视觉的最佳学习范式:最简单的 generalist 架构如 VLM 及 scaling 就是最通用的三维视觉范式!过去三维视觉领域普遍采用的人为的 task-specific 的设计并非必须。

这将极大程度地简化三维基础模型的构建。通过将三维视觉任务融入视觉语言模型的预训练,我们也能有效地兼容三维视觉与其它视觉任务,并将 VLM 的优势,及灵活性与泛化性从语义及二维视觉任务有效拓展至三维视觉,极大程度提升模型的能力上限。

结语

VLM³ 的出现,首次打通了视觉语言模型与三维视觉之间的壁垒,使得统一的架构就能够简洁地学会各类视觉任务,并达到专家模型的性能。这既是科研层面的里程碑,也为未来在实际系统中统一多模态推理能力提供了可能。我们期待 VLM³ 后续在机器人、自动驾驶、增强现实等场景中的落地应用。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
高盛对2027年中国经济判断:中国房地产最坏时刻,可能已经过去了

高盛对2027年中国经济判断:中国房地产最坏时刻,可能已经过去了

城事堂
2026-11-17 09:03:52
为什么说以张维迎为代表的一批所谓新自由主义经济学家本质上是资本、富豪和权贵的代言人呢?

为什么说以张维迎为代表的一批所谓新自由主义经济学家本质上是资本、富豪和权贵的代言人呢?

回京历史梦
2026-11-18 10:06:16
六旬男子约按摩女发生关系,十分满意付了2000元,谁知女子扭头就把他告了

六旬男子约按摩女发生关系,十分满意付了2000元,谁知女子扭头就把他告了

江山挥笔
2026-11-18 14:13:58
如果你是黄仁勋,这三个女人会选谁?

如果你是黄仁勋,这三个女人会选谁?

仕道
2026-11-18 14:14:20
一首《慌啥子嘛》把我听吐了......

一首《慌啥子嘛》把我听吐了......

细雨中的呼喊
2026-11-17 18:21:32
12万亿美元:兰德公司给国内地方债做了一次诊断

12万亿美元:兰德公司给国内地方债做了一次诊断

罗sir财话
2026-11-18 19:38:54
学术圈女教授履历惊人,换四任老公步步高升,39岁坐上名校教职

学术圈女教授履历惊人,换四任老公步步高升,39岁坐上名校教职

雾岛夜话
2026-11-18 14:12:23
中央安全生产考核巡查组将陆续进驻开展年度考核巡查

中央安全生产考核巡查组将陆续进驻开展年度考核巡查

澎湃新闻
2026-11-18 19:09:06
普京、特朗普等多国领导人抵达深圳

普京、特朗普等多国领导人抵达深圳

大风新闻
2026-11-18 20:53:16
事关台湾问题,特朗普与高市早苗都表态了,俄外长猛批西方一立场

事关台湾问题,特朗普与高市早苗都表态了,俄外长猛批西方一立场

辉辉历史记
2026-11-18 16:10:18
追上特朗普专机,马斯克又来了

追上特朗普专机,马斯克又来了

中国新闻周刊
2026-11-18 21:46:31
腾讯发声:已到生死存亡时刻

腾讯发声:已到生死存亡时刻

首席品牌评论
2026-11-17 16:49:36
克莱10次单场飙中10+三分,哈登4次,利拉德8次,那库里呢?

克莱10次单场飙中10+三分,哈登4次,利拉德8次,那库里呢?

大卫的篮球故事
2026-11-18 19:39:37
央视又翻车了?

央视又翻车了?

亮见
2026-11-18 15:04:54
普京:难怪您会选择这里作为APEC举办地,“俄罗斯也想模仿这种成就”

普京:难怪您会选择这里作为APEC举办地,“俄罗斯也想模仿这种成就”

极目新闻
2026-11-18 21:50:13
泰国总理回到祖籍地广东太激动!飙粤语"猴开森"

泰国总理回到祖籍地广东太激动!飙粤语"猴开森"

看看新闻Knews
2026-11-18 17:20:13
7天内不撤回中国诉讼,每天罚500万欧元,封顶3亿!闻泰科技和安世已经从董事会吵架,升级成了一场按天计费的法律围猎

7天内不撤回中国诉讼,每天罚500万欧元,封顶3亿!闻泰科技和安世已经从董事会吵架,升级成了一场按天计费的法律围猎

扶苏聊历史
2026-11-18 11:21:53
加纳政党代表:社会主义、共产主义思潮正在全球复苏,中国人民正引领这一进程

加纳政党代表:社会主义、共产主义思潮正在全球复苏,中国人民正引领这一进程

极目新闻
2026-11-18 14:20:01
谁都没想到,APEC大佬云集的会场,最扎眼的竟是董明珠的一个动作

谁都没想到,APEC大佬云集的会场,最扎眼的竟是董明珠的一个动作

不写散文诗
2026-11-18 13:55:13
英伟达临时CEO称将不再向中国出货H200芯片 外交部:中方已多次阐明在美国输华芯片问题上的原则立场

英伟达临时CEO称将不再向中国出货H200芯片 外交部:中方已多次阐明在美国输华芯片问题上的原则立场

每日经济新闻
2026-11-18 18:43:09
2026-11-19 01:43:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
教育
家居
数码
公开课

艺术要闻

洛阳发现唐代墓志,将魏碑、唐楷精髓融于一体,比欧颜柳赵的字更耐看!

教育要闻

专家解读:读懂山东教育“十五五” | 未来五年 如何提升青少年学生语言文化素养?

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

微星RTX Spark迷你主机EdgeMesa N AI+上市,售价33999元起

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版