编辑|Panda
6 月 8 日,工信部和国资委联合发文,要求机器人今年底从「表演模式」转向「作业模式」。但斯坦福《AI Index 2026》报告给出的现实却不乐观:机器人在实验室任务 RLBench 上成功率已近 90%,但到了包含 1000 项真实家庭活动的 BEHAVIOR-1K,当前 SOTA 模型成功率仅有12.4%
「表演模式」考验动作,「作业模式」则考验智能;要让智能真正走进真实世界,首先离不开可靠的空间感知,而这正是当前机器人视觉模型普遍面临的短板。就连参数量高达 7B 的 DINOv3 也未能幸免:长时间训练后,模型的感知能力会下滑,还得靠 Gram Anchoring 来补救。说到底,这些模型的目标大多是为了看懂图片里有什么(语义),但机器人真正需要的是理解距离、边界、空间关系,以至于 SOTA 模型 DINOv3 也需要「边盖楼边补地基」。
就在今天,蚂蚁灵波从另一条路线给出了解答:发布新一代空间感知模型 LingBot-Depth 2.0,并开源面向具身智能的视觉基础模型 LingBot-Vision
![]()
https://mp.weixin.qq.com/s/3C6ndYsu5T3h6l6hfiZHsA
这条路线的核心是选择在打地基时就把空间结构原生刻进训练目标里,也即「空间原生」。
![]()
- 技术报告:Vision Pretraining for Dense Spatial Perception
- 报告地址:https://arxiv.org/abs/2607.05247
- 项目页面:https://technology.robbyant.com/lingbot-vision
- 代码库:https://github.com/robbyant/lingbot-vision
- Hugging Face:https://huggingface.co/collections/robbyant/lingbot-vision
- ModelScope:https://www.modelscope.cn/collections/Robbyant/LingBot-Vision
LingBot-Vision:全球首个空间原生视觉基础模型
过去几年,主流视觉基础模型在决定「盖住哪块、猜哪块」时,用的都是随机遮盖。而蚂蚁灵波的核心洞察是:这个决定不该随机做
图像里其实有最难猜、信息量最大的地方:物体的边界。因为物体边界的两侧语义不同、结构断裂,不能使用周围像素直接预测。
基于此观察,蚂蚁灵波提出了「以边界为中心的掩码建模(Boundary-centric Masked Modeling)」:让模型自己在训练过程中实时预测图像里的边界在哪,然后强制把这些边界 patch 塞进被遮盖的集合里,逼着模型只能靠上下文去重建物体的几何结构。
![]()
基于一个简化示例场景的「以边界为中心的掩码建模」:(a)输入图像及其 patch 网格;(b)随机掩码与内容无关;(c)边界强制掩码将所有带边界的 patch 都加入随机掩码中,因此场景的结构恰好是学生模型必须重建的内容。(d)用于监督边界 token 的边界场,编码为每个像素在离散距离和方向类别上的分类分布。在预训练过程中,边界场由教师模型在线预测,无需人工标注或外部检测器;每个被掩码的 token 都遵循语义自蒸馏目标,而 boundary token 还需额外匹配分类边界目标。
这里有一个有意思的「自举」难题:一个从零开始训练的模型,一开始根本不知道边界在哪,又怎么决定该遮住哪里?
蚂蚁灵波给出的解法相当巧妙:只要给定一组稀疏的角点,哪怕边界场的具体数值是完全随机生成的,解码出来的线段依然连贯合理。
![]()
这里以两幅图像为例,分别绘制了五组独立的边界场,其取值均匀随机采样,并基于固定的角点集合,从每组边界场中解码出线段。尽管这些边界场本身不携带任何学习到的信息,但每次随机采样解码出的线段都连贯一致,且几乎完全相同——这是因为角点锚定了解码过程。
换句话说,边界结构可以先靠「猜个大概」的角点撑住场子,后面再随着训练慢慢把细节填准。
同时,为了避免直接回归连续的几何数值导致训练坍缩,蚂蚁灵波把边界预测转成了一个分类问题,并引入统计学上的「a-contrario 检验」,自动过滤掉不够显著的伪边界,保证模型自己生成的训练目标足够干净、不会把噪声也当成结构学进去。
![]()
LingBot-Vision 通过「以边界为中心的掩码建模」学习密集表示的 demo。每行从左到右依次为:输入图像;冻结的教师模型的 patch token 的 PCA 投影;从模型自身边界场预测中解码出的密集线段提议,经 a-contrario 验证后得到的 boundary token(粉色),叠加在验证通过的提议的累积响应之上;以及九个 boundary token 查询(红色十字,通过在特征空间中最远点采样选取)与所有 patch token 之间的余弦相似度图。学习到的表示同时承载了语义分组和几何结构。
只用 1/10 的数据、不到 1/3 的训练量
基于这套方法,蚂蚁灵波训练出了LingBot-Vision:一个约 1.1B 参数的 ViT-g/16 模型。
其训练效率尤其值得重点强调:整个语料库约1.61 亿张图片,从 20 亿张原始图片中筛选而来,规模上比 DINOv3 用到的 16.89 亿张图片小了一个数量级;训练迭代量也不到 DINOv3 的三分之一。也就是说,LingBot-Vision 的训练范式比 DINOv3 高效很多!
尽管如此,LingBot-Vision 和 DINOv3 其实不是两条互相取代的技术路线之争。
DINOv3 本身是一项相当优秀的工作,LingBot-Vision 的视觉预训练同样建立在 DINO 系列开创的自蒸馏(self-distillation)范式之上。
两者真正的分野,落在掩码建模这一步:DINOv3 在决定「遮住哪块 patch」时是完全随机的,不引入任何跟图像几何结构相关的约束;LingBot-Vision 则引入了「边界强制(Boundary Forcing)」机制,即训练过程中主动识别信息量最大的边界区域,故意把这些 patch 塞进被遮盖的集合,逼着模型必须同时学会语义和边界几何两套目标,从而学到与物体形状真正相关的视觉表征规律。
这个差异也体现在了一系列公开基准上。
以 1.1B 参数量,比肩 7B 的 DINOv3
蚂蚁灵波用 DINOv3 作为「强基线」做了系统对比,而 LingBot-Vision 的表现着实亮眼。
深度估计上,LingBot-Vision 表现最优:在 NYUv2 上,0.296 的 RMSE 胜过参数量是其 7 倍的 DINOv3(0.309)!在 KITTI 上,LingBot-Vision 也是 2B 参数规模以下最强模型。
![]()
分割和视频任务上同样表现卓越:在三个分割基准上,LingBot-Vision 与 DINOv3 蒸馏出来的 DINOv3 ViT-H+(0.8B)基本打平,同时以超 4 个百分点的优势甩开 DINOv2;在视频目标分割上,无需任何微调或时序训练,LingBot-Vision 的表现同样逼近顶级蒸馏模型。
![]()
分类任务是相对短板:在 ImageNet 图像分类上,LingBot-Vision 确实落后于 DINOv3 和 DINOv2。技术报告解释说:这是训练目标带来的权衡,即模型把更多「注意力」投入到了局部几何结构上,而非语义。
![]()
这与其「空间原生」的设计初衷一致:机器人任务里,「这个物体离我多远、边界在哪」比「这张图属于哪个类别」更重要。
![]()
一段 16 倍速的 Demo,对于接水任务,机器人并不真正需要了解水瓶的材质是玻璃还是树脂,更需要的是理解水瓶与水龙头及其开关之间的空间关系
蚂蚁灵波还把 LingBot-Vision 旗舰模型蒸馏成了ViT-GViT-LViT-BViT-S几档,供不同部署场景选择。其中一个数字尤其值得关注:蒸馏后仅 0.3B 参数的 ViT-L 学生模型,在 NYUv2 深度估计上已经追平 7B 的 DINOv3,而它们的参数量相差约 23 倍!
![]()
说到底,DINOv3 和 LingBot-Vision 面对的是同一条自蒸馏范式共有的老问题:如何在漫长训练中不丢失几何结构?
只是前者选择在训练后期用 Gram Anchoring 回头校准,后者选择把这件事在训练目标设计的第一步就定好(空间原生)。二者殊途,但都指向同一个行业信号:空间结构正在成为视觉基础模型评价体系里越来越重要的一环。
一个模型,覆盖全部核心视觉任务
除了在具体指标上和 DINOv3 掰手腕,LingBot-Vision 还有一个容易被数字掩盖的优势:一个模型覆盖了分类、检测、分割、实例理解、深度估计、边界感知、空间结构理解等几乎全部核心视觉任务
DINO 系列能做的事情它都能做,同时还增强了深度估计等可用于具身相关任务的能力。
![]()
掩码边界建模:让边界从零涌现,并驱动稠密视觉 Token 学习
对机器人系统来说,这意味着不再需要为每个视觉子任务单独堆一个模型、再各自维护:分类、检测、分割、深度可以共享同一套视觉表征,这对本就要在有限算力下塞进多种感知能力的机器人平台,可以实打实地节省工程成本。
LingBot-Depth 2.0:让机器人具备更可靠的深度感知能力
LingBot-Vision 打好了空间理解这块地基,而 LingBot-Depth 2.0 就是地基上的第一栋楼。
今年 1 月,蚂蚁灵波开源了 LingBot-Depth 1.0,重点攻克反光、透明物体的识别。
思路很巧:商用深度相机在反光、透明、无纹理表面上测不到深度,这些「盲区」通常被当作噪声丢弃,但蚂蚁灵波反过来把它们当作一种天然的掩码信号,因为这些正是最需要模型「靠上下文推理」补全几何结构的地方。
蚂蚁灵波据此提出「掩码深度建模(Masked Depth Modeling/MDM)」:把 RGB 图像和原始深度图拆成两路 token,深度传感器测不到的位置被强制遮盖,让模型学会仅凭视觉上下文补全深度。简单来说,这是掩码自编码器的一种 RGB-D 变体版本。
LingBot-Depth 2.0 保持了掩码深度建模这套训练配方本身不变,只调整了两个外部条件:
第一,把编码器从 DINOv2 换成了 LingBot-Vision
LingBot-Depth 2.0 的训练管线与上一代一致,唯一变量是编码器初始化,结果显示LingBot-Vision 在几乎所有基准上都优于 DINOv2 和 DINOv3 初始化,且优势在最难的场景(大面积深度缺失的「block-mask」模式)上最明显,例如在 DIODE-Indoor 数据集上,ViT-L 规模下 RMSE 从 DINOv2 初始化的 0.152 降到 0.094,ViT-g 规模下从 0.118 降到 0.083。
![]()
第二,训练数据规模从 300 万扩大到 1.5 亿
数据越多越好,没啥稀奇,但这里有一个更有意思的发现:两种编码器初始化的效果都随数据增长而提升,但却不是同步提升
DINOv2 初始化在数据量超过 2000 万之后基本触顶(D_102 从 0.752 涨到 0.755,几乎停滞),而 LingBot-Vision 初始化则持续爬升(从 0.777 涨到 0.795)。
![]()
也就是说,好的起点不会被更多数据冲淡优势,反而会被进一步放大。这对后续想要「砸数据」提升效果的研究团队是一个值得参考的信号。
实测:16 项测试,12 个最优
在覆盖大面积缺失(block-mask)和稀疏采样两种输入模式的 8 个公开基准上,LingBot-Depth 2.0(ViT-L 版)在 6 个基准上取得最优 RMSE
![]()
在真实商用相机的实拍数据上,2.0 版本在 8 种配置的 6 种上拿到最优,在透明物体数据集 ClearGrasp 上表现尤其突出,而透明和反光物体历来是主动式深度传感的经典难题。
![]()
下面展示了镜面和玻璃场景的一些定性结果示例:原始传感器深度在窗户玻璃、玻璃护栏、反光地面上完全测不到数值,而 LingBot-Depth 2.0 补全出的深度在还原成三维点云后,呈现为平整连续的平面,并且在连续帧之间保持稳定。
![]()
下面展示了对一段真实视频的深度估计结果,依次为原始视频、原始传感器深度和 LingBot-Depth 2.0 估计的深度:
![]()
据了解,LingBot-Depth 2.0 的卓越能力也已经得到了奥比中光深度视觉实验室的专业认证。
从实验室到产线
具身智能正在从实验室验证走向真实场景。过去,行业更关心机器人能不能听懂指令、完成演示动作;现在,随着机器人进入工业、商业服务、物流、家庭乃至空间计算这些真实场景,能否稳定感知复杂环境,正在成为决定能不能真正落地的关键。
蚂蚁灵波选择把 LingBot-Vision 核心能力开源,对行业的意义重大:机器人企业和研究机构可以直接使用,不用再从头训练一个空间原生的视觉底座;如果这类能力能像今天的通用视觉基础模型一样成为行业共用的基础设施,就能显著降低下游企业验证机器人感知、移动和操作能力的门槛。
事实上,LingBot-Depth 2.0 的商业化已经开始:奥比中光已将 LingBot-Depth 2.0 集成进其新一代 EGO-RGBD 数采设备,并已发布相关 SDK;据蚂蚁灵波介绍,双方还计划在今年年底推出集成 LingBot-Depth 商业版的一体化相机产品
看起来,具身智能行业从「表演模式」到「作业模式」的跨越已经开始:LingBot-Vision用远小于 DINOv3 的数据和训练量达到 SOTA 水平证明了「空间原生」不只是一句口号;而LingBot-Depth 2.0则证明了这套视觉底座的能力可以真实迁移、并能随着下游数据增长而持续放大优势——而它只是这条迁移路径上被验证的第一个例子。
机器人视觉的竞争,正在从「认得出多少类别」转向「扛不扛得住一次真实的抓取」。而空间原生正是这场竞争里最基础的那块地基,至于地基之上能盖出怎样的具身智能,还要交给下一步的验证。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.