机器人练成“见闻色”，星尘智能Lumo-2把动作预测变快了

7月15日，具身智能创业公司星尘智能拿出了两样新东西：第二代具身基础模型Lumo-2，以及为长期人机共处设计的物理AI智能体Philia。按照星尘智能的架构，Lumo-2负责“怎么让机器人更聪明地动作”，Philia负责“怎么让机器人更持久地与人相处”，两者再与绳驱机器人本体结合，形成“AI模型—具身OS—绳驱本体”三层体系。

动漫《海贼王》里有一种能力叫“见闻色霸气”，能让使用者感知周围的存在、情绪甚至短暂预知未来。星尘智能给Lumo-2的核心定位，就很像这种能力——它不直接让机械臂动起来，而是先根据视觉、机器人自身状态、语言指令和过去一小段动作历史，推测接下来最可能发生的物理变化，再基于这些变化生成动作。公司把这种思路称作“家庭隐式世界—动作模型”。

从现场展示的22项家庭任务来看，接住滚落的球、给行李箱拉上拉链、煎鸡蛋颠锅翻面、称取500克小米、磨咖啡、打蝴蝶结……这些家务活对机器人的要求完全不同。接球考验运动趋势理解，倒水需要判断操作进度，蝴蝶结和拉链则对双手协调和精细控制提出高要求。传统视觉-语言-动作模型（VLA）往往根据当下的画面直接输出动作，就像一种条件反射——看到杯子，听到“倒水”，就生手臂轨迹。这种做法很成熟，但容易陷入状态混淆：透明杯子倒水前后，单帧画面几乎一样，机器人只看当前图像很难决定是该继续倾倒还是收手。

Lumo-2在观察和动作之间塞进了一层“潜在世界动态”。模型先在压缩的隐空间中预测与任务有关的未来变化——不是生成完整视频，而是像一份只保留关键物理信息的“未来草稿”：物体将往哪里移动、容器是否还在倾倒、手与物体会发生怎样的接触、任务即将进入哪个阶段。然后，它再根据这份草稿生成动作。这相当于让机器人拥有了一种面向行动的短期物理推理能力。和星尘上一代Lumo-1不同，Lumo-1主要靠文字把任务拆成步骤，解释性强但面对连续快速控制时，文字推理会造成延迟和表达容量瓶颈；Lumo-2将这部分推理转移到隐空间，既能减少逐词生成的开销，又能捕捉更连续的时空变化。同时，模型还引入了短期动作历史——机器人会参考刚才自己做过什么，来更准确地判断当前处于哪个阶段，避免单帧观察造成的状态混淆。

另一个关键变化藏在对动作表征的重新处理上。机器人动作信号通常是连续的，比如机械臂的位姿、旋转角度、速度和夹爪开合程度。过去不少模型把这些信号压缩成“动作token”，训练目标就是尽量精确地重建原始轨迹。但星尘智能认为，动作还原得准确不一定代表实际控制效果好——一个很擅长保存信号细节的编码器，可能根本没搞懂动作和物体、任务、语言之间的关系，在实验室表现优异，一进真实家庭就容易“糊涂”。为此，Lumo-2采用三阶段渐进式训练。第一阶段让动作与视觉世界变化对齐：模型对比两个时刻的画面和对应动作，从视觉变化里筛出与物理运动相关的信息，反过来用动作约束视觉表示，降低光照变化、背景扰动等无关因素的干扰。第二阶段让动作与视觉和语言对齐：动作token不仅要描述位移、旋转和夹爪状态，还要逐渐具有“拿起杯子”“继续倾倒”“将物品放入背包”这样的语义关系，训练任务包括动作描述、动作预测、世界动态预测以及匹配判断。第三阶段把视觉语言数据、互联网视频、第一人称人类视频和机器人数据放在一起联合训练，让模型同时学习世界知识、物理变化和动作生成。这套流程背后的逻辑很明确：动作应当和图像、语言一样，被当作基础模型中的一种核心模态，而不是在视觉语言模型末端临时附加的输出接口。

为了让控制速度跟得上实时需求，Lumo-2还引入了分块自回归生成，一次预测一组动作token，而不是逐个生成。技术论文显示，在单张RTX 5090上，其端到端延迟从约253.66毫秒降至93.53毫秒。在涵盖时序推理、物理理解、动态场景、长流程、高精度和灵巧操作的真实任务测试中，Lumo-2整体优于π0.5和Fast-WAM等基线；即便面对训练时没见过的语言指令和物体，任务成功率也更高。

如果说Lumo-2解决的是机器人“怎样完成任务”，Philia关注的则是当具身智能进入家庭，用户到底该怎么跟它相处。眼下具身智能离大规模消费级应用还很远，但星尘智能想先把用户体验的框架搭好。目前多数机器人还围着单次技能调用打转——用户用特定App下发命令，一台机器人对应一套软件和账户，执行完任务后，系统对用户偏好、历史操作和其他机器人的情况几乎没有连续认知。Phil的设计是把机器人重新定位成一个智能助理可以调用的“物理执行者”。用户通过飞书、微信、语音、网页等界面发起请求，中间的Agent控制平面负责理解意图、调用记忆、拆解任务、选择机器人并匹配能力，底层的每台机器人则通过本地运行时处理感知、导航、模型推理、轨迹执行和安全控制。也就是说，Agent决定“做什么”，机器人本地系统负责“怎样做”。

连接这两层的关键是Robot Gateway——机器人网关。每台机器人通过网关公开一组标准能力，例如观察场景、执行操作等，使不同机器人可以被统一调度和复用。星尘智能正在试图把具身智能从一个单点模型的问题，推向一个包含模型、记忆、交互、导航和多机器人协作的系统工程问题，虽然这条路还很长，但Lumo-2与Phil的搭档，已经让这个方向看起来不再那么遥远。