网易首页 > 网易号 > 正文 申请入驻

20种机器人本体通吃!蚂蚁新一代VLA具身大脑刚刚开源了

0
分享至

编辑|杜伟

时隔 5 个月后,蚂蚁灵波亮出了自家新一代具身智能大脑。这一次,它试图把跨本体 VLA 从单点 Demo,推向可复现、可高效后训练与可部署的工程链路。

2026 开年以来,具身智能最重要的技术路线之一 VLA(视觉-语言-动作), 其受行业关注的程度以及向前推进的速度超出了很多人的想象。

科技巨头英伟达推出专为人形机器人打造的开放 VLA 系列 GR00T N1.6 和 GR00T N1.7,具身智能独角兽 Physical Intelligence 推出的 π0.7 展现出了组合泛化、跨本体迁移能力。在国内,VLA 领域同样是百花齐放,涌现出了以蚂蚁灵波 LingBot-VLA 为代表的基座模型。

它们的出现让行业形成共识:机器人要进入开放环境,必须把视觉理解、语言指令和动作生成放进同一个模型框架里。同时,当把机器人从实验室搬到开放场景,各种现实问题很快出现:桌子高度变了、物体位置偏了、任务步骤被拉长了,换一台机器人本体又得重新适配。

不少 VLA Demo 已经能在特定设置下跑通,但距离稳定执行、跨本体泛化和低成本规模化部署,仍需要跨过数据、本体适配、工程系统等多重阻碍。这也是 VLA 进入深水区的原因,并带来了更现实的技术难题:机器人需要一颗什么样的通用大脑?

面对真实世界的多样机器人任务,蚂蚁灵波今天正式发布新一代具身基座模型 LingBot-VLA 2.0

相较于上代版本,此次 LingBot-VLA 2.0 死磕「一脑多机」这个行业核心问题,对 17 家厂商的20 种机器人构型实现了支持,并将动作范围从机械臂扩展到头部、腰部、末端执行器和移动底盘等全身自由度。

做到如此程度的跨构型泛化,蚂蚁灵波在包括数据管线、动态建模和空间感知在内的多个层面给出了独到解法:在6 万预训练高质量数据的基础上,引入未来预测能力,更能把握任务状态的持续演化;同时默认融合自家模型 LingBot-Depth 的空间感知能力,增强机器人对距离、空间关系和场景结构的判断。

这样的组合,让 LingBot-VLA 2.0 在多构型适配、连续任务执行和真实场景操作中有了更强支撑。


https://mp.weixin.qq.com/s/fF9D9Vvx3PsFrdy94eKyVg

全方位加强的能力,让 LingBot-VLA 2.0 在多项基准测试中的表现有了立竿见影的提升。其中,在上海交通大学 GM-100 评测体系中,模型在 AgileX Cobot Magic 和 Galaxea R1 Pro 两个双臂机器人平台上的平均任务进度分和成功率均领先竞品模型 GR00T N1.7 和 π0.5:



在移动能力上,LingBot-VLA 2.0 基于「方舟机械臂 + 松灵底盘」和绳驱轮式人形机器人星尘智能 S1 两类构型,与 π0.5 进行了初步对比测试。结果显示,其在长程移动操作任务中的任务进度分和成功率相较于 π0.5 同样取得领先,并在跨域场景中保持优势:



蚂蚁灵波延续了上代的开源策略,一次性将 LingBot-VLA 2.0 的模型权重、训练代码与技术报告开放了出来。开发者可以在 Hugging Face、魔搭社区获取。



  • 技术报告:From Foundation to Application: Improving VLA Models in Practice
  • 报告地址:https://github.com/robbyant/lingbot-vla-v2/blob/main/assets/LingBot_VLA_2_0.pdf
  • 项目页面:https://technology.robbyant.com/lingbot-vla-v2
  • 代码库:https://github.com/robbyant/lingbot-vla-v2
  • Hugging Face:https://huggingface.co/collections/robbyant/lingbot-vla-v2
  • ModelScope:https://modelscope.cn/collections/Robbyant/LingBot-VLA-V2

将同一个大脑安在 20 个本体上,LingBot-VLA 2.0 做了什么?

同一个 VLA 模型跑到不同的机器人本体上,这件事实现起来并不容易。

机器人本体形态以及关节结构、自由度、动作空间、控制接口五花八门。模型首先要学会在不同本体之间迁移能力。此外,跨本体 VLA 的实现还要解决机器人全身协同、长序列任务演进以及空间感知理解所面临的诸多挑战。

放在这样的背景下,LingBot-VLA 2.0 的升级重点变得清晰:围绕一脑多机的落地补齐能力短板。

强大的多本体泛化成为实现一脑多机的重要前提。LingBot-VLA 2.0 在预训练阶段覆盖17 个国内外主流机器人品牌,包括乐聚、宇树、智元、松灵、星海图、银河通用、星尘、睿尔曼、方舟、北京人形、傅立叶、魔法原子、千寻、零次方、非夕、青龙及 Franka,并共计支持 20 种机器人构型,覆盖单臂、双臂、轮式、双足等多种形态。

这样的跨本体泛化能力,让不同机器人平台之间的重复适配成本下降。对于客户来说,他们可以更快完成新本体、新任务和新场景的部署与落地。

但要做到一脑多机,只扩大支持的本体类型还不够。VLA 模型还要能够处理多类型本体带来的更复杂动作空间。

面对真实场景机器人的全身协同需求,LingBot-VLA 2.0全面扩充了对头部、腰部、末端执行器和移动底盘等自由度的支持。头部决定机器人看哪里,底盘决定从哪里接近目标,腰部影响操作姿态,末端执行器完成最终交互。只有多个自由度协同起来,机器人才能处理更接近真实场景的开放任务任务。

当机器人换了身体与场景、任务链条也变长之后,一脑多机还要求 VLA 模型学会提前判断任务变化,不能只根据眼前画面做即时反应。

LingBot-VLA 2.0 引入了未来预测(future prediction),其核心是让模型在生成动作时,除了理解当前看到的内容,还有能力预测接下来可能发生什么。

以机器人整理冰箱为例,它需要连续完成移动、开门、抓取、放置、整理、清洁等多个环节,每一个环节都影响下一步动作。未来预测的加入,使模型更能理解动作后果,减少任务中途偏移和中断。


https://mp.weixin.qq.com/s/fF9D9Vvx3PsFrdy94eKyVg

再往底层看,跨本体的实现离不开强大的三维空间感知能力。在机器人操作中,看见只是第一步。真正执行动作时,机器人还需要「眼观六路,耳听八方」。

LingBot-VLA 2.0 天然集成了自家LingBot-Depth的空间感知能力,让模型在生成动作前获得更充分的环境理解。相比只依赖图像和指令输入,Depth 带来的空间信息有助于机器人理解物体之间的空间关系、距离和场景结构,从而在复杂物理环境中做出更稳定的操作决策。

这项能力对于开放场景尤为关键。空间理解越充分,出现抓取偏差、碰撞风险和后续任务中断的概率就越低。

蚂蚁灵波给出的这套组合拳打法,让跨本体 VLA 从 Demo 走向了工程现实。它的实现又可以拆分为上下两层:上层是架构,解决不同本体如何共用一套 VLA 能力;下层是数据,解决模型如何获得足够多、足够干净与足够多构型的真实操作经验。

架构升级:MoE 处理本体差异,双查询蒸馏补上未来预判

具体到方法上,LingBot-VLA 2.0 主要做了两件事:用 MoE 处理多本体数据的差异,用双查询蒸馏补强空间理解和时序预判

得益于 LingBot-VLA 2.0 底层采用了统一动作表示,模型有了学习跨本体共性动作模式的基础。

在这个统一动作空间之上,LingBot-VLA 2.0 进一步引入了 MoE 架构。我们知道,多本体机器人数据同时包含不同动作空间、不同本体动力学和不同任务分布。如果所有数据都被压进同一个稠密参数路径,模型很容易在共性和差异之间相互干扰:一部分参数要学习通用操作逻辑,另一部分又要适配不同机器人身体的特定动态。

因此,LingBot-VLA 2.0 在动作专家中引入了 token-level loss-free MoE,用 MoE FFN 替代原有前馈网络,让模型在扩大容量的同时更好吸收不同本体之间的共性和差异。

这里的关键有两点:一是 loss-free MoE,它将专家负载均衡和主要动作学习目标解耦,避免 MoE 辅助损失直接干扰动作预测。对于 VLA 这种强依赖动作学习的模型来说,主目标越干净,训练越不容易被额外约束带偏。

二是 token-level 路由。LingBot-VLA 2.0 采用 sigmoid 路由,让每个 token 可以激活多个专家,其中轻量共享专家保留通用先验,路由专家负责更细分的建模能力。模型可以在 token 粒度决定哪些信息走通用路径,哪些交给更专门的专家处理。

这套 MoE 的意义在于,让通用能力与本体差异可以在同一个架构中被同时建模。它解决的是「多机器人怎么一起学」的问题,接下来的双查询蒸馏则用于补强空间理解和时序预判

具体来讲,LingBot-VLA 2.0 在视觉和文本 token 中加入两个可学习的 query,分别对应当前观测和未来观测。并且,这两个 query 从以下两个教师模型中学习:

LingBot-Depth 提供了明确的几何监督,让模型获得深度、距离和空间结构等线索;DINO-Video 提供带因果时序的视频表征,帮助模型理解视觉状态、空间关系和动作后果如何随时间演化。

DINO-Video 是这套设计里的关键时序教师。它基于 Meta DINOv3 构建,引入了 block-wise 因果时序注意力和 3D-RoPE,在互联网视频、第一视角视频和机器人视频组成的 500 万视频片段上训练。

这套双查询蒸馏框架,把当前空间理解和未来状态预测同时接入 VLA 的训练目标。只看当前帧,模型很容易陷入短视;具备未来几何和语义表征后,模型才有机会提前判断物体位置、空间关系和任务状态的演化。这对长序列任务尤其重要。



LingBot-VLA 2.0 概览

整体来看,MoE 负责提升模型对多本体异构数据的建模,LingBot-Depth 补上空间感知能力,DINO-Video 加强对动作过程和状态演化的时序建模,它们让 LingBot-VLA 2.0 在跨本体任务中学习更稳定的动作控制和未来预判能力。

数据工程:把异构数据整理成一套可训练经验

跨本体 VLA 的实现,同样离不开大规模、高质量的数据。LingBot-VLA 2.0 的另一项重磅升级,就发生在数据侧。

对机器人基座模型来说,数据是能力增长的基础设施。相较于语言模型的互联网文本数据与视觉模型的图像与视频数据,机器人数据的获得和标准化都更困难:采集成本高,控制信号和动作标注容易受到噪声影响,不同本体之间存在差异,真实场景的覆盖也更复杂。

LingBot-VLA 2.0 在数据管线和训练体系上进行了系统性升级。

蚂蚁灵波从 9 万小时数据中清洗出 5 万小时高质量真机数据,并从 2 万小时第一视角人类操作数据中提炼 1 万小时有效数据,使预训练数据总量达到 6 万小时。前者提供多本体机器人在真实物理环境中的操作经验,后者补充了人类第一视角下的手物交互轨迹。



LingBot-VLA-2.0 所用预训练数据集的可视化。该数据集包含 20 种机器人本体,覆盖机械臂、头部、腰部、移动底盘和灵巧手等自由度。

当然,LingBot-VLA 2.0 的预训练数据不是简单把不同来源的数据堆在一起。蚂蚁灵波通过清洗、重建、标准化和统一表示,将数据转化为模型可以学习的训练样本

先来看清洗流程,它主要看以下两个条件:

一是轨迹是否可靠。团队会计算动作信号和状态信号的 jerk,也就是三阶有限差分,同时计算速度和加速度的 Z-score,用来过滤动作突变和信号异常的 episode。对于长时间几乎没有动作变化的片段,也会被剔除。如果一个 episode 中状态和动作信号仅有微小变化或基本不变的时间超过 95%,这段数据不会进入最终训练集。

二是视频和状态信号是否对齐。团队会基于对应机器人的 URDF,将机器人投影回图像平面,并重放记录状态,再由人工检查投影结果与真实视频是否一致。画面模糊、严重遮挡、掉帧,以及多视角不对齐的视频,也会在标注过程中被过滤。

接下来关于 LingBot-VLA 2.0 引入的 1 万小时第一视角人类操作数据,同样会先经过视频级 VLM 预筛,去掉第三人称视角、无明确手物交互、无可操作物体等。

此外,对于已有动作或手部轨迹标签的数据,还会统一做元数据处理、时间戳对齐、坐标转换和轨迹完整性检查。对于没有标签的视频,通过 egocentric SLAM 和手部姿态估计,恢复相机运动和手部轨迹,并转换到世界坐标系下。随后继续过滤手部姿态覆盖不足、SLAM 轨迹不稳定、手部轨迹突变或违反人体生理约束的样本。

而为了让机器人数据和第一视角人类视频可以放进同一套训练框架,LingBot-VLA 2.0 采用了 55 维统一状态与动作表示,覆盖机械臂关节、末端执行器位姿、夹爪、手部关节、腰部、头部和移动信号等信息,并预留 4 个维度。另外,对于单臂机器人或者缺少某些身体部位的本体,缺失维度通过 padding 补齐。



LingBot-VLA 2.0 机器人操作数据统计概览。

数据经过清洗和统一表示后,还需要补上语言标注。VLA 模型训练时,既要看到机器人怎么动,也要知道一段动作分别对应什么任务、每一步在完成什么目标。

为此,蚂蚁灵波搭建了一套由 VLM 驱动的自动标注管线,用来处理多本体数据集中的机器人操作视频。使用 Qwen3.6-27B 将操作视频切分为连续子任务,并生成对应语言指令。对于配备多摄像头的机器人平台,系统会同时处理俯视视角和腕部视角,帮助判断夹爪与物体之间的交互关系,减少单视角带来的歧义。

每个子任务会获得三类标注,分别是原子动作、主要交互物体和简洁指令。同时,整段视频生成一条任务级指令,用来概括整体任务。

为了保持不同本体之间的标注一致性,团队还将一次交互中的抓取、搬运和释放合并为一个连续子任务,只有在操作对象发生变化、动作类型切换或持续停顿指向新目标时,才划分新的时间边界。

结果就是,机器人操作视频被整理成了任务级与子任务级语言监督信号。VLA 模型在预训练中学习到整段任务的目标以及每一步动作与物体交互之间的对应关系。



子任务标注中各类动作的统计数据。

通过将不同本体、不同自由度、不同来源的数据整理成可共同训练的机器人经验, 蚂蚁灵波为 LingBot-VLA 2.0 的跨本体训练打下了数据根基。

高效后训练:补上部署短板

有了空间感知、未来预测等架构层面的升级以及更大规模、更高质量的异构数据供给,LingBot-VLA 2.0 才能在跨本体、长序列和真实场景任务中表现出更强的综合能力。

但当具身模型进入产业试点阶段,客户关心的问题会变得非常实际:接入一个新机器人本体需要多久?模型推理能不能跟上环境变化?机器人执行动作时,响应延迟能否控制在可用范围内?

这些问题最后都会落到同一件事上:模型能否在更低成本与更短周期下,适配新任务、新场景和新本体。因此,高效后训练成为通用 VLA 模型实际部署的关键能力。

LingBot-VLA 2.0 同步开源了更高效后训练版本,推理耗时在 RTX 4090 控制在 130ms 以内

这样一来,LingBot-VLA 2.0 可以把新任务、新场景、新本体的适配成本往下压,让机器人更快完成接入、训练、验证和迭代。

LingBot-VLA 2.0 的技术路线,展示了跨本体 VLA 正在发生的一些变化。

过去,很多 VLA 展示更容易被单个任务视频定义:机器人听懂指令、识别物体并完成动作。而现在,判断一个 VLA 模型有没有价值,尤其是能不能走向跨本体操作,更看重其背后有没有一整套可扩展、可复现、可部署的实现链路。

由此,更底层的能力越来越重要,包括数据统一、动作空间的对齐、跨本体差异的吸收、长序列任务的时空建模、模型的后训练等。

LingBot-VLA 2.0 一定程度上反映出了 VLA 接下来的发展趋势:跨本体能力很难只靠更大的模型自然涌现,它更需要数据工程、统一表示、稀疏架构、时空监督和后训练体系的共同支撑。

通用具身大脑,最终还是要回到不同的机器人本体和真实场景任务中反复验证。未来跨本体 VLA 的继续演进,靠的也正是这些决定模型能否真正跑起来的底层环节。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
又一康复重点医院突然倒闭!189名医务人员集体失业

又一康复重点医院突然倒闭!189名医务人员集体失业

康知了
2026-07-08 12:11:27
葬礼中,美伊又开打了

葬礼中,美伊又开打了

中国新闻周刊
2026-07-08 18:31:42
一家快倒闭的公司,“垃圾堆”中捡到36.9克拉蓝钻,估价超过2.7亿!

一家快倒闭的公司,“垃圾堆”中捡到36.9克拉蓝钻,估价超过2.7亿!

螺旋实验室
2026-07-08 17:07:13
海军中尉、飞行员石少勇同志壮烈牺牲,年仅25岁,被评定为烈士

海军中尉、飞行员石少勇同志壮烈牺牲,年仅25岁,被评定为烈士

上观新闻
2026-07-08 06:53:29
TA:亚马尔3岁弟弟凯内走红世界杯,看台庆祝出圈

TA:亚马尔3岁弟弟凯内走红世界杯,看台庆祝出圈

懂球帝
2026-07-08 18:44:19
我记住这位英年早逝的经济学家是因为他那句充满悲悯和伤感的话..

我记住这位英年早逝的经济学家是因为他那句充满悲悯和伤感的话..

细雨中的呼喊
2026-07-08 13:30:56
第二个许家印!又一首富栽了!世界500强竟是假的,千亿帝国清零

第二个许家印!又一首富栽了!世界500强竟是假的,千亿帝国清零

阿绐聊社会
2026-07-07 05:55:20
埃及足协正式申诉,非洲足联声援!国际足联敢不敢打开VAR回放?

埃及足协正式申诉,非洲足联声援!国际足联敢不敢打开VAR回放?

林子说事
2026-07-08 14:10:16
六蓝水库溃坝并非个例,老坝+极端天气是全世界的难题!

六蓝水库溃坝并非个例,老坝+极端天气是全世界的难题!

闫老大
2026-07-08 11:04:57
中年男人的网约车:一个在硬撑,一个已崩溃

中年男人的网约车:一个在硬撑,一个已崩溃

茶狐看世界本尊
2026-07-08 13:17:41
埃及足协向国际足联正式提出申诉,要求调查对阿根廷比赛中的“严重误判”,将该主裁判及裁判组逐出本届世界杯;埃及头号球星未跟风批评

埃及足协向国际足联正式提出申诉,要求调查对阿根廷比赛中的“严重误判”,将该主裁判及裁判组逐出本届世界杯;埃及头号球星未跟风批评

极目新闻
2026-07-08 10:38:10
高温暴雨轮番夹击,美国老旧基础设施不堪重负

高温暴雨轮番夹击,美国老旧基础设施不堪重负

中国日报网
2026-07-07 09:32:06
湖北遭遇强对流多地受灾,鄂州一家三口被大风卷走坠楼身亡,遇难者亲属:窗户全部脱落,他们被大风卷下楼落到3楼平台;当地政府已介入

湖北遭遇强对流多地受灾,鄂州一家三口被大风卷走坠楼身亡,遇难者亲属:窗户全部脱落,他们被大风卷下楼落到3楼平台;当地政府已介入

大风新闻
2026-07-08 15:11:22
美加墨世界杯8强全落位,金球奖悬念也不大了,将在以下6人中诞生

美加墨世界杯8强全落位,金球奖悬念也不大了,将在以下6人中诞生

球场没跑道
2026-07-08 11:33:45
工信部首次定调:Claude Code危害严重!

工信部首次定调:Claude Code危害严重!

智东西
2026-07-08 18:24:46
特朗普:美伊谅解备忘录“已终结”

特朗普:美伊谅解备忘录“已终结”

界面新闻
2026-07-08 16:25:58
坐拥6套顶奢豪宅!140亿身价霉霉“下嫁”,球星老公激动哭惨了

坐拥6套顶奢豪宅!140亿身价霉霉“下嫁”,球星老公激动哭惨了

金融八卦女
2026-07-08 13:28:29
受台风“巴威”影响,江苏将暂停线下教育教学活动

受台风“巴威”影响,江苏将暂停线下教育教学活动

第一财经资讯
2026-07-08 02:42:40
乌克兰无人机打穿俄能源防线?十大炼油厂九家遇袭,普京紧急开会商讨燃油危机

乌克兰无人机打穿俄能源防线?十大炼油厂九家遇袭,普京紧急开会商讨燃油危机

澎湃新闻
2026-07-08 19:44:27
广东:支持广州、深圳、佛山、东莞等率先建成高附加值智算中心

广东:支持广州、深圳、佛山、东莞等率先建成高附加值智算中心

界面新闻
2026-07-08 20:04:37
2026-07-08 20:47:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13464文章数 142690关注度
往期回顾 全部

科技要闻

工信部:Claude Code安全后门隐患

头条要闻

北约秘书长"告白"特朗普:就喜欢他 他对伊开战是对的

头条要闻

北约秘书长"告白"特朗普:就喜欢他 他对伊开战是对的

体育要闻

阿根廷被埃及埋了一半,死里逃生

娱乐要闻

鹿晗出轨?邓超出轨绯闻又被扒出

财经要闻

新能源车"外挂电池"乱象:暗藏致命风险

汽车要闻

定名岚图梦想家9!岚图全新旗舰MPV来袭

态度原创

本地
艺术
教育
手机
军事航空

本地新闻

万斤西瓜免费吃,来河南顶“瓜瓜”

艺术要闻

这是赵构写给岳飞的密信,字迹绝美,内容却暗含杀意,岳飞没看懂

教育要闻

云南文山:抱团发力缩小城乡学前教育差距

手机要闻

摩托罗拉印度推出Moto G77 Power:7000mAh电池、天玑6400芯片

军事要闻

特朗普:美伊谅解备忘录“已终结”

无障碍浏览 进入关怀版