超越纯视觉模型！不改VLM标准架构，实现像素级深度预测

新智元报道

编辑：LRST

【新智元导读】Meta开源DepthLM，首证视觉语言模型无需改架构即可媲美纯视觉模型的3D理解能力。通过视觉提示、稀疏标注等创新策略，DepthLM精准完成像素级深度估计等任务，解锁VLM多任务处理潜力，为自动驾驶、机器人等领域带来巨大前景。

在当前多模态AI发展浪潮中，视觉语言模型（Vision Language Models, VLMs）因其能通过「看图 + 文字交互」处理多样任务而备受关注。

然而，尽管在语义理解、视觉问答、图像指令等任务上表现优异，它们在从 2D 图像理解 3D 空间结构方面仍显薄弱。相比之下，纯视觉模型（pure vision models）在 绝对深度估计（metric depth estimation） 等三维理解任务上，凭借专门设计的网络结构与损失函数，早已达到了超越人类的精度。

这就带来了一个核心问题：「视觉语言模型是否有可能不更改其标准架构及训练loss，实现与纯视觉模型同等级别的3D理解能力？」

Meta开源了一项突破性研究工作DepthLM，首次证明了该问题的答案是肯定的！

DepthLM首次证明了语言模型也能准确理解三维空间，并且比专家视觉模型具有更好的灵活性及泛化性。

DepthLM证明了，在无需改动架构的前提下，就能让视觉语言模型（VLM） 在像素级「绝对深度估计」等三维视觉任务上达到与纯视觉模型相媲美的水平。

在此之前，即便是最先进的VLM如GPT-5和Gemini2.5-Pro等，在绝对深度估计上均远远落后于纯视觉模型。

论文地址：https://arxiv.org/pdf/2509.25413

代码地址：https://github.com/facebookresearch/DepthLM_Official

Huggingface模型地址：https://huggingface.co/facebook/DepthLM

DepthLM通过对VLM训练的各个模块的详细分析，发现了当前VLM无法理解三维空间的核心问题并非缺乏额外密集预测头（dense head），复杂回归损失或密集的监督信号，而是无法准确理解像素位置（pixel reference）以及难以分辨不同的相机参数（cameraambiguity）。

基于以上发现，DepthLM通过下述技术，实现了「不改动VLM架构、不引入额外密集预测头（dense head）与复杂回归损失」的情况下，使VLM解锁精确像素级深度预测能力 。

视觉提示（visual prompting）：在图像上直接渲染一个小标记（marker）指向询问像素，相比用文字描述 （X,Y） 坐标，模型更直观地「看到」像素的位置；

基于内参的图像增强（intrinsic-conditioned augmentation）：把所有图像统一成一个焦距尺度，消除因相机参数差异导致尺度混乱，使模型学习一致的度量尺度；

稀疏标签（sparse labels）监督：每张图像只标注1-2个像素即可，降低标注成本，仍能训练出高精度模型；

标准的SFT：基于文字的next token prediction范式及cross entropy，无需设计额外回归loss或正则项。

研究人员还构建了一个综合 3D 任务 benchmark 套件DepthLMBench，用于训练与评测VLM在各种室内 / 室外深度任务上的表现。

此外，DepthLM并不局限于单一深度预测任务：同一个框架还被扩展到了五类代表性3D任务（例如时间、速度、相机运动估计等），展现出统一模型处理多任务的潜力。

论文作者蔡志鹏是Meta的高级研究员。主要研究方向是优化、感知和多模态生成等通用计算机视觉/机器学习问题，论文曾评为ECCV18年12篇最佳论文之一，获得英特尔实验室2024年最佳学者奖。

实验结果

在多个公开数据集（如Argoverse2、DDAD、NuScenes、ScanNet++、sunRGBD、iBims1、NYUv2、ETH3D等）上，DepthLM 的δ₁指标（预测误差在±25%范围内比例）可达0.83+水平，显著优于几乎所有现有VLM方法。

同时，DepthLM首次实现了媲美纯视觉模型（即那些为深度估计专门设计的模型）的准确率，超过Depth Pro及Metric3Dv2

有趣的是，DepthLM虽然只在每张训练图像上见过最多2个标记点，仍能够通过对一张图上的每一个像素独立提问，获得高质量的点云。

尤为令人惊喜的是，DepthLM在没有任何后处理或正则化损失的情况下，自然避免了过度平滑（over-smoothing）问题：在边界区域产生的「飞点」（flying points）远比纯视觉模型少。

多任务实验表明，DepthLM由于其训练范式的简单及可拓展性，可实现在同一模型下胜任多种3D任务，且在更复杂的任务如相机姿态估计（pose）上与SOTA VLM的性能差距进一步扩大。

研究意义及应用前景

VLM向3D世界理解迈进一步DepthLM表明，视觉语言模型并非天生只能处理语义与二维任务，通过恰当提示与训练策略，它们同样可以解锁精确的几何理解能力。

这一发现证明了专家视觉模型的架构（密集预测头，DINO backbone）以及复杂训练损失均不是实现空间智能的必要条件。

统一模型与多任务整合的可能性传统深度估计模型往往为每个任务都要设计单独头或结构，而DepthLM首次提供了一条「单一VLM覆盖多任务」的路径。

降低标注 / 架构设计成本DepthLM 的稀疏标注方式大幅降低训练数据的标注负担，同时避免了为不同任务设计复杂模块的工程代价。

在机器人、自动驾驶、增强现实等领域具备实际潜力对于需要将二维视觉输入变为深度理解的系统（如自动导航、场景重建、感知增强等），DepthLM 的通用性和精度具有很强吸引力。

结语

DepthLM的出现，标志着视觉语言模型在三维理解方向上的一次突破性进展。它揭示了一种新的路径：通过「提示 + 稀疏微调」，不动结构就能让VLM达到传统深度模型的水准。

这既是科研层面的里程碑，也为未来在实际系统中统一多模态推理能力提供了可能。

研究人员期待DepthLM后续在机器人、自动驾驶、增强现实等场景中的落地应用。

参考资料：

https://arxiv.org/pdf/2509.25413