60000小时炼出新开源VLA！20多种机器人都能用

金磊 发自 凹非寺
量子位 | 公众号 QbitAI

整整60000小时的预训练数据。

一个新VLA（视觉-语言-动作），就这么水灵灵地被“喂”了出来，而且还是开源的那种。

这就是蚂蚁灵波刚刚发布的LingBot-VLA 2.0，一个面向复杂物理世界任务的通用VLA模型。

先来聊聊这60000小时真实物理数据是怎么来的。

其实它包含两个部分，其中50000小时来自机器人轨迹数据，覆盖20种机器人构型；另外10000小时来自第一视角人类操作视频。

而距蚂蚁灵波1月发布LingBot-VLA 1.0仅半年时间来，数据规模从20000小时直接乘了个3。

那么效果又如何呢？

来，直接上结果：

视频地址：
https://mp.weixin.qq.com/s/GBkj3L9z1_ihq6vrUDrbJw

我们从视频中可以看到，机器人先从操作台上拿起饮料、水果放进篮子里，再拎起篮子移动到冰箱前，打开冰箱门、把东西一件件放进去，最后关上冰箱门。

一整套长序列的移动操作，一气呵成，相当丝滑。

不过有一说一，数据规模还仅仅是LingBot-VLA 2.0亮点的一隅，在细扒相关技术报告后我们发现：

• 支持20多种机器人构型；
• 从双臂扩展到头部、腰部、移动底盘、灵巧手等更完整的动作空间；
• 融合LingBot-Depth，让机器人获得更强空间理解能力；
• 在英伟达RTX 4090上推理延迟低于130ms。

而不少网友们看到LingBot-VLA 2.0的发布后，更是直呼：

开源的具身模型正在加速机器人技术在现实世界中的应用。

机器人干活，更利索了

接下来，我们先继续来直观感受一下在LingBot-VLA 2.0加持之下，机器人干真实世界家务活儿的表现如何。

第一个任务是清理灶台。

它比刚才的冰箱收纳来说，更加接近真实生活中的厨房场景：

视频地址：
https://mp.weixin.qq.com/s/GBkj3L9z1_ihq6vrUDrbJw

机器人面对炉灶、锅架、海绵等一桌子物品，需要先将障碍物挪开、取放妥当，然后精准地拿起海绵擦拭灶台，最后还得把相关物体物归原位。

从机器人的表现来看，LingBot-VLA 2.0是经受住了真实环境里的连续决策和精细交互的考验。

再来看一个任务，调料收纳。

这类任务更考验双臂协同和空间关系处理能力，机器人要清楚每个物体分别放在哪、彼此间距多远、桌面结构长什么样，光靠看画面是不够的，还得有空间感。

视频地址：
https://mp.weixin.qq.com/s/GBkj3L9z1_ihq6vrUDrbJw

再来感受一下带LingBot-Depth 2.0深度热力图、物体边界Token掩码、余弦相似度热图的效果：

视频地址：
https://mp.weixin.qq.com/s/GBkj3L9z1_ihq6vrUDrbJw

而这正是LingBot-VLA 2.0默认融合LingBot-Depth之后带来的能力升级，精准拿捏住了机器人自身和空间之间的关系。

若是我们把这三个案例放到一起，LingBot-VLA 2.0要做的事儿就比较清晰了：

它是希望通过同一套具身大脑，能够做到迁移到不同身体、不同场景、不同任务里。

换言之，为某个机器人专门训的专用模型不是目的，关键是一套能复用的通用具身操作基座。

（完整能力视频如下）

视频地址：
https://mp.weixin.qq.com/s/GBkj3L9z1_ihq6vrUDrbJw

还学会了预测未来

在看完效果之后，接下来的问题就是LingBot-VLA 2.0是如何做到的。

我们先从数据说起。

在第一代LingBot-VLA开源时，外界就已经关注到一个点，真实世界机器人数据越多，VLA模型能力越强，而且这种提升还没有明显到头。

到了LingBot-VLA 2.0，这条路线还在继续被往前推。正如我们刚才提到的，它的数据管线从9万小时数据中清洗出5万小时高质量真机数据，又从2万小时第一视角人类操作数据中提炼出1万小时有效数据，总预训练数据达到6万小时。

但数据量增加还只是表象。更关键的是这些数据覆盖了更多机器人形态、多视角、多任务、多动作模式。

团队在技术报告中列出的机器人构型便包括Leju、Franka、AgileX、ARX Lift2、Galaxea R1Pro、Astribot S1、Unitree G1、Fourier GR-2、AgiBot A2等，总计20种embodiment。

我们知道语言模型吃的是文本，但到了VLA这里，吃的是“视觉、语言、动作”的组合。

它不光要知道“把水果放进冰箱”这句话是什么意思，还要知道机械臂该怎么接近物体，夹爪什么时候闭合，底盘什么时候移动，冰箱门打开后空间关系如何变化。

所以数据越丰富，模型越有机会学到更通用的操作规律。

除了数据够“厚”之外，LingBot-VLA 2.0的另一个关键，在于它把动作空间打通了。

不同机器人有不同关节、不同夹爪、不同底盘。双臂机器人、人形机器人、移动机械臂，在身体结构上差异很大。要让同一个VLA模型迁移到不同身体上，就需要把这些差异映射到一个统一的动作空间里。

LingBot-VLA 2.0这次把动作空间从双臂进一步扩展到头部、腰部、移动底盘、灵巧手等自由度。

真实世界复杂任务往往需要多个身体自由度协同完成，LingBot-VLA 2.0的目标就是提升机器人在开放场景、长序列任务和多自由度协同任务中的表现。

更有意思的是，LingBot-VLA 2.0还学会了预测未来。

过去很多VLA模型更像是反馈式执行，看到当前画面，生成一个动作；执行完之后，再根据下一帧观察结果继续修正。但这种方式能形成闭环，但在长序列任务里容易出现问题。

因此，LingBot-VLA 2.0引入了未来深度预测和语义特征预测，让模型在生成动作时同时理解当前状态和预测未来状态。

具体来讲，团队给视觉和文本token额外挂上两组可学习的query token，一组对应当前时刻，一组对应未来时刻；再分别用负责几何信息的深度模型LingBot-Depth，和负责语义、时序信息的自研视频表征模型DINO-Video做蒸馏监督，让模型不仅理解眼前的场景，还能提前预判物体位置、空间关系和任务状态接下来会怎么变化。

由此，我们便可以把LingBot-VLA 2.0在技术上的升级归结为：

数据更厚，身体覆盖更广，动作空间更完整，模型还具备一定前瞻式时序理解能力。

GM-100上见真章

模型好不好，评测结果也是很好的证明。

这次LingBot-VLA 2.0在GM-100多任务Generalist Benchmark上选取9个任务，与GR00T N1.7、π0.5、LingBot-VLA 1.0进行对比；同时也在两个长程移动操作任务上与π0.5进行对比。

值得一提的是，Generalist Benchmark考察的是同一个模型在多个任务上的综合表现，而非为单个任务分别训练、分别调优，再把各自最好的结果拼成一张榜单。因此，这类评测更接近真实落地场景，也更能反映一个VLA基座模型的通用能力。

先看GM-100双臂操作。

在AgileX Cobot Magic平台上，LingBot-VLA 2.0整体平均成绩为66.2/34.4，高于GR00T N1.7的36.3/17.8、π0.5的59.1/32.2，以及LingBot-VLA 1.0的58.2/30.0。

在Galaxea R1 Pro平台上，LingBot-VLA 2.0整体平均为34.6/15.6，进度分高于GR00T N1.7、π0.5和LingBot-VLA 1.0；成功率与LingBot-VLA 1.0持平，但高于GR00T N1.7和π0.5。

除此之外，团队还做了两个较有代表性的测试：Astribot S1执行物体放入冰箱任务，Cobot Magic-ARX X5执行清理灶台任务。

每个任务都有ID和OOD两种设置，每组15次独立实验。OOD设置下，机器人初始位置会被扰动；在冰箱收纳任务中，还会替换为没见过的物体类别，用来测试泛化能力。

结果上，冰箱收纳任务中，LingBot-VLA 2.0在ID设置下为77.1/60.0，π0.5为65.3/46.7；OOD设置下，LingBot-VLA 2.0为37.0/13.3，π0.5为30.3/6.7。

清理灶台任务中，LingBot-VLA 2.0在ID设置下为84.3/66.7，π0.5为79.9/60.0；OOD设置下，LingBot-VLA 2.0为67.5/40.0，π0.5为62.5/33.3。

具身通用大脑，越发关键了

放到整个行业来看，LingBot-VLA 2.0的意义不止是又一个更强的模型。

过去一年，机器人硬件本体的变化很快。乐聚、智元、星动纪元等公司都在推进不同形态的身体，人形机器人、双臂机器人、移动机械臂都在快速迭代。

身体越来越多，问题也随之出现。

每种机器人都有自己的关节构型、传感器配置、控制方式；每个场景又有不同物体、空间、任务要求。如果每一种本体、每一个任务都要重新适配一套算法，成本会很高，规模化也很难。

LingBot-VLA 2.0想做的，就是大脑层的通用化。

它用更大规模的真实数据，让模型见过更多物理世界里的动作；用统一动作表示，尝试抹平不同本体之间的差异；再加上LingBot-Depth和未来预测，让机器人对空间和时间有更强的理解。

从更长远看，具身智能可能会出现一个趋势：

机器人的身体继续百花齐放，但通用大脑的趋势会愈加收敛。

One More Thing：

昨天蚂蚁灵波发布了LingBot-Depth 2.0，今天是LingBot-VLA 2.0，但估计它的新动作不会仅止于此。

因为在一月份的时候，蚂蚁灵波就针对具身智能来了一波四连弹。

所以，对具身智能感兴趣的小伙伴，可以继续保持下关注哦~

技术报告：
From Foundation to Application: Improving VLA Models in Practice

报告地址：
https://github.com/robbyant/lingbot-vla-v2/blob/main/assets/LingBot_VLA_2_0.pdf

项目页面：
https://technology.robbyant.com/lingbot-vla-v2

代码库：
https://github.com/robbyant/lingbot-vla-v2

Hugging Face：
https://huggingface.co/collections/robbyant/lingbot-vla-v2

ModelScope：
https://modelscope.cn/collections/Robbyant/LingBot-VLA-V2