网易首页 > 网易号 > 正文 申请入驻

Meta蔡志鹏新作VLM³:全面揭示三维视觉的Bitter Lesson

0
分享至



蔡志鹏博士(https://zhipengcai.github.io/)是美国 Meta 公司的高级研究员,博士毕业于澳大利亚阿德莱德大学。他的研究主要集中在 Physical Intelligence,包括三维视觉、多模态大模型等。他的工作已在领域顶级会议杂志上发表超过 20 篇。其中 10 篇文章被选为顶级会议口头或特邀报告,对鲁棒估计计算复杂度的理论证明工作被选为 ECCV18 12 篇最佳论文之一。

Meta 发布了一项令人震撼的研究工作 VLM³,首次揭示了三维视觉学习的 Bitter Lesson:标准的视觉语言模型 + scale 数据就是最简单有效的范式,针对特定任务的架构、损失函数以及数据增强的设计,甚至是 regression 的 formulation,均不是三维视觉学习的必要条件。



当前的视觉语言 AI 模型(Vision Language Models, VLMs)通过统一的模型架构能够灵活处理各类不同的视觉任务。然而,尽管在语义理解、视觉问答、图像指令等任务上表现优异,它们在三维视觉方面仍然表现不佳。相比之下,专家视觉模型(expert vision models)在绝对深度估计(metric depth estimation)等三维理解任务上,凭借专门设计的网络结构、损失函数及数据增强,已经达到了超越人类的精度。

这就带来了一个核心问题:「视觉语言模型是否在三维视觉学习方面无法替代专家模型?」VLM³ 首次证明了该问题的答案是否定的!

VLM³ 通过极简的设计,在极为多样的三维视觉任务中媲美或超越专家视觉模型,并大幅超越最先进的视觉语言模型:1)在单目深度估计上 match UnidepthV2 及 MoGe2;2)在目标级三维理解任务上超越 SpatialRGPT;3)在像素匹配任务上超越 DKM 和 RoMa;4)在相机姿态估计上 match DA3,超越 VGGT。



  • 论文地址:https://arxiv.org/pdf/2605.30561
  • 代码地址:https://github.com/facebookresearch/VLM3

二、亮点

在此之前,即便是最先进的 VLM 在标准的三维视觉任务中均远远落后于专家视觉模型。

VLM³ 通过详尽的实验发现,标准的 VLM 仅需要 1)相机焦距归一化;2)像素空间归一化,就能够以令人惊叹的简洁方式有效学会各类三维视觉模型,在 1)单目深度估计中 match UniDepthV2 及 MoGe2;2)在目标级别三维理解超越 SpatialRGPT;3)在像素匹配任务上超越 DKM 和 RoMa;4)在相机姿态估计上 match DA3 并超越 VGGT。



和之前的三维视觉 VLM 不同,VLM³ 既不需要改变 VLM 的架构,也不需要在图片上渲染 marker。相比于专家视觉模型需要大量的架构、损失函数及数据增强方面的复杂设计,VLM³ 仅需要标准的 VLM 架构(如 Qwen3-vl-4B)和训练(基于文字的 SFT)就能够在极为多样的三维任务上达到 SOTA。

这种简洁的训练推翻了之前三维视觉的学习范式,并揭示了三维视觉的 Bitter Lesson:我们其实完全不需要针对特定三维视觉任务人为设计复杂的架构、损失函数及数据增强。通过简单的视觉语言建模 + scale 数据就能够达到同样的效果,并且于其他非三维视觉任务在统一的语言模型训练框架下完全兼容。这使得三维视觉不再需要与视觉语言模型的大规模预训练分离,同时我们能够使用同样的方式来实现三维视觉的 scaling law。

同时 VLM³ 的成功也意味着三维视觉的学习远比我们想象中的要容易:除开不需要特殊架构、损失函数等,我们甚至可以不依赖回归(regression)来学会 fine-grained 3D understanding,这在之前的工作中是难以想象的,因为在连续的输出空间进行回归是绝大多数三维视觉模型的核心设计。

三、主要结果 / 性能对比

在四大三维视觉任务上性能显著优于最先进的 VLM

在单目深度估计上将 DepthLM 的准确率从 84 提升至 90,并且训练及推理更加简单高效,无需渲染 marker。

在目标级别三维理解上用同样的训练数据超越 SpatialRGPT,并且无需额外的 encoder,模型参数少一半(4B vs 8B)。

在多视角几何任务上如像素匹配及相机姿态估计上远超 Qwen3-vl-32B。



同时在与先进的专家视觉模型(如 MoGe2、DA3、RoMa 等)的对比中,VLM³ 也毫不逊色,并且完全不需要复杂的架构、损失函数及数据增强。





四、意义 / 应用前景

VLM³ 重新定义了三维视觉的最佳学习范式:最简单的 generalist 架构如 VLM 及 scaling 就是最通用的三维视觉范式!过去三维视觉领域普遍采用的人为的 task-specific 的设计并非必须。

这将极大程度地简化三维基础模型的构建。通过将三维视觉任务融入视觉语言模型的预训练,我们也能有效地兼容三维视觉与其它视觉任务,并将 VLM 的优势,及灵活性与泛化性从语义及二维视觉任务有效拓展至三维视觉,极大程度提升模型的能力上限。

结语

VLM³ 的出现,首次打通了视觉语言模型与三维视觉之间的壁垒,使得统一的架构就能够简洁地学会各类视觉任务,并达到专家模型的性能。这既是科研层面的里程碑,也为未来在实际系统中统一多模态推理能力提供了可能。我们期待 VLM³ 后续在机器人、自动驾驶、增强现实等场景中的落地应用。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
央视曝光后,浙江金华连夜成立联合调查组

央视曝光后,浙江金华连夜成立联合调查组

政知新媒体
2026-11-16 08:37:55
人社部重点严查五类退休人员!

人社部重点严查五类退休人员!

逍遥论经
2026-10-17 17:39:47
一种常见绿叶菜,竟有益生元潜力!实验发现,它能支持肠道有益菌生长!

一种常见绿叶菜,竟有益生元潜力!实验发现,它能支持肠道有益菌生长!

肠菌科普
2026-11-16 07:03:41
凌晨去世!他的歌,大家都会唱

凌晨去世!他的歌,大家都会唱

小椰的奶奶
2026-11-16 11:57:59
又轰下26+10+6+5!抱歉邓肯:你从历史第六变成了第七

又轰下26+10+6+5!抱歉邓肯:你从历史第六变成了第七

篮球大视野
2026-11-16 14:17:05
最新:乌克兰强势反攻顿巴斯南部!收复科马尔住宅区

最新:乌克兰强势反攻顿巴斯南部!收复科马尔住宅区

项鹏飞
2026-11-15 20:59:16
打了五年,俄罗斯突然广而告之要消灭泽连斯基!

打了五年,俄罗斯突然广而告之要消灭泽连斯基!

山河路口
2026-11-15 13:09:35
全网曝光2.7亿!央视、人民日报都在报,政府大院里摆满了鸡鸭鱼

全网曝光2.7亿!央视、人民日报都在报,政府大院里摆满了鸡鸭鱼

娱乐圈见解说
2026-11-16 04:05:25
APEC峰会前!高市不仅要来华参会,还要求中方必须高规格接待?

APEC峰会前!高市不仅要来华参会,还要求中方必须高规格接待?

呼呼历史论
2026-11-16 02:46:53
黄仁勋出轨最大的真相

黄仁勋出轨最大的真相

哲空空
2026-11-10 13:50:34
两性关系:发现了没,寿命长的男人,大多都有这五个好习惯

两性关系:发现了没,寿命长的男人,大多都有这五个好习惯

荔子言
2026-11-03 10:32:30
阿尔特塔豪砸!阿森纳 1.33 亿锁定皇马巨星,交易势在必得

阿尔特塔豪砸!阿森纳 1.33 亿锁定皇马巨星,交易势在必得

一隅非生
2026-11-16 11:47:13
外资撤离印度越南?美媒大胆预言:中国的西部,或成新世界工厂

外资撤离印度越南?美媒大胆预言:中国的西部,或成新世界工厂

王二哥老搞笑
2026-11-15 18:40:45
"让人心酸又感动!"外卖小哥接单被要求扛50斤大米爬5楼,本想发火,推开门那一刻他沉默了

"让人心酸又感动!"外卖小哥接单被要求扛50斤大米爬5楼,本想发火,推开门那一刻他沉默了

一丝不苟的法律人
2026-11-04 15:22:28
国务院:由省财政统筹发放中小学教师工资,设立“教师工资专户”

国务院:由省财政统筹发放中小学教师工资,设立“教师工资专户”

郭爱华追问教育
2026-11-15 06:10:02
方程豹钛9即将上市,车长5米27,综合续航超1600km,卖多少合适?

方程豹钛9即将上市,车长5米27,综合续航超1600km,卖多少合适?

闻车品百魅
2026-11-16 12:05:18
人体最佳睡觉时间表(建议永久收藏)

人体最佳睡觉时间表(建议永久收藏)

神奇故事
2026-11-14 23:05:28
“家长没钱,孩子才会沉迷手机”,一段高尔夫视频让人沉默了,中产晒孩子打高尔夫暗讽“沉迷手机是因为穷”

“家长没钱,孩子才会沉迷手机”,一段高尔夫视频让人沉默了,中产晒孩子打高尔夫暗讽“沉迷手机是因为穷”

蝴蝶花雨话教育
2026-11-14 00:05:16
为寻求变态刺激,男子多次迷晕妻子供陌生男子强奸,自己在场拍照!法院:构成轮奸,判11年

为寻求变态刺激,男子多次迷晕妻子供陌生男子强奸,自己在场拍照!法院:构成轮奸,判11年

一丝不苟的法律人
2026-10-15 09:31:24
陈冠希73岁爸爸陈泽民罕露面,看起来像50岁,比45岁的儿子还“抗老”?

陈冠希73岁爸爸陈泽民罕露面,看起来像50岁,比45岁的儿子还“抗老”?

小徐讲八卦
2026-11-16 09:00:48
2026-11-16 17:40:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14486文章数 142758关注度
往期回顾 全部

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

房产
艺术
亲子
旅游
军事航空

房产要闻

从林屿间到林屿熙岸,招商蛇口在崖州湾为何总出爆款?

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

亲子要闻

宝宝气人但是聪明的4个行为

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

军事要闻

哈马斯拉法旅指挥官死于以军空袭

无障碍浏览 进入关怀版