李飞飞高徒黄文龙：具身智能需要一次「脑内搜索」革命 | RSS 2026

斯坦福团队提出：机器人不需要见过所有的失败，它只需要学会如何“脑补”另一种可能。

作者丨岑峰

在 AGI 的数字版图里，大语言模型仅靠“读遍互联网文本”就拼凑出了通往智能的通途。这种由 Scaling Law 带来的暴力美学，让整个具身智能行业在过去两年里陷入了一种盲目的“数据崇拜”：人们坚信，只要像训练大模型一样，喂下数以百万小时的视频，机械臂就能在物理世界中无所不能。

而在2026 年的悉尼 RSS 大会，AI科技评论注意到，越来越多的研究者开始讨论，物理世界的数据获取具有时间和空间的“不可逆性”——文本可以被瞬间复制亿万次，但机械臂抓取一次杯子，在物理时空中就必须实打实地消耗数秒。更致命的是长尾效应：摩擦、形变、流体……人类根本不可能通过穷举法，去收集齐机器人面临的所有场景。

来自斯坦福大学李飞飞实验室的黄文龙（Wenlong Huang），在“Data-Centric Robotics”主题Workshop的演讲中给出了一个“降维打击”式的解法：抛弃对海量“演示数据”的死记硬背，转向“反事实推理”与“脑内搜索”。

作为近年具身智能领域的明星学者，黄文龙的名字此前因VoxPoser和ReKep两篇里程碑式的论文而广为人知。在这两项研究中，他利用大模型作为空间规划器，将人类的抽象指令转化为三维空间中的“关键点约束”和“价值场”，首次让机器人无需任何行为演示，就能直接根据几何常识完成复杂的操作。

而在此次 RSS 2026 的分享中，黄文龙更进一步，首次将这一哲学推向了“3D世界模型”的终极形态——Point-World。

这场演讲的重大现实意义在于，它用严密的逻辑和前沿实验，揭示了具身智能下半场的进化范式： Point-World 的诞生，意味着机器人终于拥有了一个可以“零样本预测未来物理演变”的数字孪生大脑。机器人可以在真正动手前，在脑海中虚拟尝试成千上万种“如果我这么做，会发生什么”的反事实可能性，从而在没有人类演示过的情况下，自主创造出诸如“把袜子由内而外翻过来”的独创性行为。

同时，黄文龙还展示了仅需 15 小时的 3D 交互数据配合 2D 预训练，就能撬动世界模型的惊人扩展能力。这为具身智能走向“递归自我改进（Recursive Self-improvement）”——即机器人一生的持续自主学习——推开了最后的大门。英伟达 Cosmos 3 正在试图用全模态定义具身生态的“安卓系统”，而黄文龙与斯坦福团队则在底层逻辑上，为全球开发者提供了一套突破算力和数据封锁的“终极进化算法”。

以下是黄文龙的演讲分享，AI科技评论根据其英文演讲内容进行了不改原意的编辑：

01

通过反事实推断实现机器人数据的跨越式扩展

演讲者： 斯坦福大学 黄文龙（导师：李飞飞）

▎一、 动机：从“演示学习”到“自主探索”

大家好非常荣幸与各位讨论机器人数据扩展的新视角。本次 Workshop 的主题是“以数据为中心的机器人学（Data-Centric Robotics）”，而我今天想分享的核心主题是：我们或许可以通过“反事实推断（Counterfactuals）”来有效扩展机器人的能力边界。

过去几年，我们在实现“开放世界机器人”的征程中取得了显著进展。从算法层面看，我们拥有了表现力更强的架构，如扩散策略（Diffusion Policies）、基于 VLM 的架构，以及近期涌现的世界模型；从硬件层面看，低成本硬件的普及让研究门槛大幅降低。

目前行业已达成一个共识：只要我们能演示出来的行为，策略就能学会。

但我这里有一段非常有启发性的视频：这是一个由 Physical Intelligence 展示的任务——将一只袜子由内而外翻转。这并不是由复杂的多指灵巧手完成的，而只是一个普通的平行夹爪。机器人将一只夹爪伸进袜子内部，配合另一个夹爪完成捏拉动作。

这个任务非常酷，但也揭示了一个深刻的问题：这种动作很难用语言或代码来精确描述，必须看视频才能理解。更重要的是，作为人类，我可能从未在训练数据中见过这种“翻袜子”的技巧，但我拥有“独创性（Ingenuity）”，能在面对新问题时即兴创造解法。

这种自主获取新行为的能力，是目前机器人所缺失的。如果机器人仅依赖互联网规模的数据或自身的历史数据，它可能永远无法跨越某些能力的鸿沟。

▎二、 反事实推断与搜索的价值

要复制人类的这种独创性，关键在于反事实思维。

所谓反事实，是指在拥有一条标准任务轨迹的前提下，模型有能力去评估：“如果我采取了一组完全不同的动作，结果会怎样？”

回顾人工智能史上的重大突破，这种能力始终是核心驱动力。以 AlphaGo 为例，著名的“第 37 手”是人类围棋史上从未出现过的走法，但 AI 通过搜索和推演，判断出这是当下的最优解。在当年的 AlphaGo 论文中有一组令人震惊的数据：如果移除测试时的搜索过程，模型需要增加 10 万倍的数据量才能维持同等的性能。

如果说机器人学比围棋和编程更难，那么我们就有理由相信，这种“反事实推理”和“搜索”的能力是不可或缺的。

▎三、 为什么是 3D 几何空间？

如果我们需要这种能力，那么应该在什么维度上进行反事实推理？

1.语言与代码空间：这在 2021 年我们曾尝试过。通过大语言模型分解任务步骤。虽然逻辑上可行，但在涉及底层物理交互（如翻袜子）时，语言模型完全无法描述物理细节。

2.动作空间：机器人形态各异，夹爪长度、指尖材质、甚至机械臂数量都不同，很难建立一个统一且通用的低级动作空间来思考“万一”。

我认为，推理的最佳空间是基于机器人几何结构的 3D 空间。

这就是我们最近的工作：Point World。其核心理念是：给定 RGB-D 输入和机器人的描述文件（URDF），我们将机器人的动作空间统一定义为“3D 点云流（3D Point Flows）”。

通过从机器人的每个连杆上采样点，计算正运动学，我们将场景观测和机器人动作全部统一在 3D 点云流中。我们训练了一个基于 Transformer 的模型，它本质上是一个“零样本（Zero-shot）真实世界模拟器”。

模型不仅能模拟刚体，还能处理流体、布料等可变形物体，且无需物体分割。它能隐式地识别冰箱的运动关节结构，并在物体被遮挡（如第一人称视角看盒子背面）时，根据物理常识推断接触几何关系。

▎四、 弥补 3D 数据的匮乏

大家通常认为 3D 数据是稀缺的。为此，我们利用先进的视觉几何模型，对大规模交互数据（Joy 数据集）进行了重标注，生成了具有仿真级精度深度信息和相机位姿的 3D 点云，总计约 3500 小时。

有了这些数据，我们可以通过增加模型参数、优化训练目标，大幅提升世界模型的保真度。

更令人兴奋的是后续的一项未发表工作：我们发现，利用 2D 视频数据进行预训练，再辅以仅15 小时的 3D 交互数据进行微调，就能获得比之前 500 小时训练更好的环境动力学预测能力。这个模型在完全没见过的环境、没见过的机械臂上，依然能保持极高的物理保真度。

▎五、 总结与展望

在这个算力和数据扩展的时代，我们的关注点通常集中在“获取更多数据以实现更好的零样本泛化”。

但我认为这并非全貌。真正的学习应该伴随机器人的一生。机器人必须具备一种自主获取新行为的能力，并将这些新行为编译进现有的模型中。

总结通往人类水平物理交互的路径：

1.前提条件：获得关于行为和动力学的通用先验（世界模型）。

2.关键步骤：将这些先验在物理世界中落地，并通过反事实推断和搜索，不断探索、获取新的行为。

这或许就是具身智能领域一直在追求的“递归自我改进（Recursive Self-improvement）”。

谢谢大家。

一个人读论文太孤单，一群人刷顶会才好玩。

RSS 2026召开在即，我们正在召集一波含金量极高的 AI 研究者。群内主打实时论文跟踪与硬核技术探讨，拒绝灌水。

? 进群传送门：扫码进群或添加微信Luyoyo_2026，备注：论文群 + 关注的 AI 方向。

搞科研/搞技术，信息差很重要。

来，一起快人一步！

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈