Dyna用预判未来的世界模型让机器人真正规模化部署

在美国各地的鼎泰丰门店里,一批机器人每天要叠上千片餐巾,这项工作已经持续规模化运转,而不是停留在某个门店的试点测试。这背后是Dyna Robotics联合创始人、首席科学家Jason Ma反复强调的一条分界线:真正难的不是把一台机器人放进一个场景里演示,而是让客户相信它创造的价值足够大,愿意把它铺到旗下几十个门店。

Jason Ma在Dyna Robotics的办公室里接受了Latent Space播客主持人swyx的采访,现场还能看到机器人拉饮料、挥刀切菜的画面。采访的核心,是Dyna上个月发布的世界动作模型Dyna-2——一个在超过一百万小时数据上训练出来的模型,也是目前同类模型里训练数据量最大的一个。

1. 叠餐巾与开冰箱的差距,才是机器人行业的真实门槛

鼎泰丰不是Dyna唯一的客户,但却是目前走得最远的一个。Jason Ma说,今天很多机器人公司都在谈"部署"、谈"试点",但那其实是容易的部分——把一台机器人搬进一个场景跑起来,算不上真正的考验。真正难的是让客户确信机器人创造的价值足够大,愿意把它推广到旗下的很多个门店。这件事在鼎泰丰身上发生了,据他所知,目前还没有其他做通用机器人的公司做到这一点。

结果就是,Dyna的机器人如今每天要在美国多个鼎泰丰门店里折叠成千上万片餐巾。这不是一次性的演示,而是日常运转的生产线。

2. 世界动作模型:先想象未来,再行动

上个月,Dyna发布了名为Dyna-2的世界动作模型,这是第一个在超过一百万小时数据上训练出来的世界动作模型。按Jason Ma的解释,世界模型指的是能够预测未来视频、预测世界未来状态的模型。但Dyna-2多做了一步:它还能用这个关于未来的预测去生成机器人在物理世界里可以执行的动作。

这套架构背后的逻辑来自对人类行为的观察。人在物理世界里行动时,大脑其实一直在隐式地推演:如果这样做,世界接下来会变成什么样。Dyna-2把这种推演能力做成了模型架构的一部分,用来指导机器人的动作。Jason Ma说,这样训练出来的模型明显更灵巧、更鲁棒,在没见过的环境和场景里泛化能力也更强。

3. 输入是视频和关节角度,输出是动作加未来画面

具体到模型层面,输入端最重要的是视频——机器人摄像头拍到的过去几秒钟的画面。但和纯视频模型不同,机器人还有大量执行器和关节编码器,能知道自己关节的角度,这些数据也会被喂进模型。此外,语言指令也是输入的一部分,用来告诉机器人要做什么任务。

输出端,模型首先要生成机器人能在硬件上执行的动作。但世界动作模型多了一层:它会先输出未来视频,或者某种对未来的表征,再用这个表征去指导动作生成。Jason Ma把这个过程比作语言模型里的思维链——模型先在视觉和物理空间里"推理",然后才落到具体动作上。这是世界动作模型和其他机器人模型最大的区别。

4. 用生成图片的技术,去生成精确动作

Dyna-2底层是一个diffusion transformer。Transformer部分的作用和语言模型类似,是一个序列到序列、只有解码器的结构,负责从尽可能多的数据里学习。但在视觉领域,无论是生成图片、生成视频,还是机器人根据图像生成动作,业界都发现diffusion架构效果更好。

diffusion模型的工作方式是从一段随机噪声出发,通过多次迭代计算,逐步变成高维度、细节丰富的结果。生成图片需要锐利的边缘、清晰的轮廓、准确的色彩对比;生成机器人动作同样需要精确和平滑。这种对精细颗粒度的要求,让diffusion架构天然适合这两类任务,这也是为什么整个行业,不只是Dyna,都在用diffusion transformer训练机器人基础模型。

5. Flow matching:更简单的调参,更适合实时控制

diffusion模型在实践中有一个麻烦:需要调度一个调度器,决定把初始噪声一步步转换成最终输出的具体节奏,这个调参过程很繁琐。flow matching是diffusion的一个特殊情况,把这个转换过程简化了很多,不需要太多调参,效果也不差。Jason Ma说,大约两三年前,图像和视频的生成模型已经普遍从diffusion转向了flow matching,但本质上的概念是一致的。

flow matching原本的步数可以从diffusion常见的40到100步,压缩到四步左右,这本身是一个效率上的提升。它在图片生成上会有一些质量上的权衡,因为图片生成基本是一次性出结果。但对机器人动作生成来说,这个权衡反而不是问题,因为动作可以在实时控制中反复重新评估,不需要一次性做对。这也是flow matching特别适合机器人控制的原因。

6. 45分钟的演示,就能教会机器人开冰箱

开冰箱取饮料这类任务,Dyna的做法是先训练一个足够强的通用基础模型,再用极少量数据做任务适配。Jason Ma把这个逻辑类比成人类学习:人在物理世界里有很强的基础知识,大部分任务上手就能做,但要成为某个具体任务的专家,还是需要一些针对性的训练。通用机器人也要遵循同样的原则。

Dyna-2一开始就在超过一百万小时的人类数据上训练,打下这个基础之后,团队发现只需要很少的新任务演示,模型就能学会执行。切菜这个任务只用了45分钟的机器人数据;开冰箱取东西这个任务,被团队内部当成给新入职工程师的"入门考题"——难度不算高,却足以验证一个工程师是否上手。

7. 机器人没有互联网,数据是最大的瓶颈

数据是今天机器人行业最重要的瓶颈,原因很直接:语言模型有互联网这个现成的数据来源,机器人没有。所以每一家做机器人模型、做机器人硬件的公司,都必须自己想办法解决数据问题。

Dyna的做法之一是自己采集数据——办公室里到处都是机器人,员工也在持续生成演示数据。但Jason Ma也承认,靠单一公司自己采集的数据量,离机器人基础模型真正需要的规模还差得很远。他把这个处境比作想靠一个Reddit或者一个Facebook去搭建整个互联网——它们都是很好的网站,但远远不够。

从一百万小时的人类视频,到45分钟就能学会的新任务,再到每天在鼎泰丰门店里重复运转的几千片餐巾,Dyna想证明的其实是同一件事:机器人能不能预判物理世界的未来,决定了它能不能在真实场景里稳定工作;而能不能稳定工作,又决定了客户是只做一次试点,还是愿意把机器人铺向更多门店。叠餐巾本身并不性感,但正是这种枯燥的规模化,把Dyna和那些只会做演示的机器人公司区分开来。