AI智能体构建虚拟训练场，为机器人提供关键训练数据

如今，机器人行走在街头的景象已不再罕见，引得路人驻足围观。然而，这些机器还远未达到在厨房或工厂中全能协作的水平，制约其发展的关键瓶颈之一正是数据。与人类的学习方式类似，机器人在实践中学习效果最佳。但问题在于，在不同场景下对机器进行大量动作的实体训练，既耗时又费力。

"利用仿真环境作为训练场是一个自然而然的思路。过去几年，驱动机器人模拟器的物理引擎取得了长足进步，但现存挑战之一仍是如何创建足够丰富、多样的仿真内容，以还原真实世界的复杂性。"麻省理工学院（MIT）丰田电气工程与计算机科学、航空航天及机械工程讲席教授、MIT计算机科学与人工智能实验室（CSAIL）首席研究员罗斯·特德雷克（Russ Tedrake）如此表示。

事实证明，AI智能体——即能够"思考"并完成特定任务的半自主程序——或许正是生成机器人所需逼真虚拟环境的关键。MIT CSAIL与丰田研究院的研究人员联合开发了一套名为"SceneSmith"的全新系统，借助三个智能体协作完成三维场景的物体摆放、墙体构建及整体外观呈现。该系统对餐厅、卧室、酒店等室内空间的还原效果，比此前的方案更加逼真、细致，有助于机器人在真正上线之前练习技能、尝试不同的任务执行方式，从而为工程师节省大量实地测试的时间。

这三个智能体之所以能理解日常空间的"应有样子"，是因为它们各自调用了一个名为视觉语言模型（VLM）的多模态系统，具体采用的是目前最先进的VLM——GPT-5.2。该模型基于海量互联网文本与图像训练而成，能够处理更多视觉提示。这一先进模型赋予了每个智能体一定程度的空间认知能力：首先，"设计师"智能体负责生成场景元素；接着，"评审师"判断场景是否符合现实；最后，"协调者"统筹二者的往复交互，决定设计何时完成。三个VLM完成创作协作后，生成的场景可直接载入物理仿真软件。

"我们发现，这套系统能够像人类设计师一样构建三维场景。"MIT电气工程与计算机科学博士生、CSAIL研究员尼古拉斯·普法夫（Nicholas Pfaff）表示，他是与特德雷克共同发表该研究论文的第一作者。"我们使用一款具备互联网级先验知识的领先VLM生成了逾1300个场景，它创造出了令人叹为观止的多样化布局。这些并不是我在提示词中教给系统的——它完全是自主发挥的。"

与智能体对话

得益于VLM智能体，用户可以向SceneSmith发出诸如"生成一个停放着汽车、摆有工作台、角落里堆着轮胎、墙边靠着梯子的车库"的指令，随即获得一个对象丰富、供机器人自由探索的虚拟空间。与此前的方法相比，这些房间每个场景的物品数量多达六倍，非常适合训练机器人完成将杯子放进水槽、把水果摆到盘子上、将饮料罐从货架移至桌面等技能。

有了如此丰富的虚拟环境，研究人员无需在物理世界中反复试错，便可评估机器人是否具备实际部署的能力。研究团队在SceneSmith生成的数字世界中测试了多种行动方案（又称"策略"），共生成了100个独特空间。VLM智能体对每次尝试进行评估后发现，机器人的方案存在明显缺陷，机器在完成任务时频频失败。人类评审员对该模型判断结果的认同率超过99%，这或将帮助机器人工程师在机器人真正进入现实世界之前，就在仿真环境中筛除有缺陷的方案。

那么，这些虚拟世界究竟有多真实？这一问题难以直接证明，因此研究人员从多个角度加以验证。其中最具说服力的测试是：将一个预训练的机器人策略——该AI控制器主要基于真实世界数据训练，从未见过任何SceneSmith生成的场景——投入生成的虚拟环境中运行。在一项测试中，用户指示系统"将苹果从碗里取出放到砧板上"，仿真机器人完全按照指令完成了操作。如果这些场景与机器人策略所学习的真实环境差异显著，这一结果根本不可能实现。

研究团队还通过远程操控，引导机器人在虚拟空间中开关橱柜、收纳瓶子、穿行于不同房间。实验结果表明，这些虚拟环境能够承受持续的物理交互，其可靠性已不仅限于视觉层面的检验。

幕后机制

SceneSmith的每个智能体在生成流程中各司其职，逐步丰富场景细节，本质上是先创建平面图，再逐步赋予其生命。

以生成一栋住宅的一楼为例：首先，"设计师"VLM生成整体布局，由"评审师"进行审核，再由"协调者"最终确认。此后，智能体对每个步骤重复上述流程：依次添加家具、在墙面和天花板上布置物品，最后放入机器人可操作的对象。例如，VLM可以添加机器人能够开关的橱柜——这类可动部件是此前基准方法鲜少涵盖的内容。

在每个阶段，第二个VLM负责确保场景的合理性，例如建议将浴缸从客厅中移除；第三个VLM则把控整体质量，必要时甚至会将设计流程回退数步，直到视觉效果达标。三个VLM完成创作协作后，物理世界的力学规律将通过仿真软件被叠加至场景中。

凭借对房间外观、物品摆放方式以及真实世界物理规律的深入理解，SceneSmith相较于此前方案具备明显优势。与"HSM"和"Holodeck"等场景生成基准方法相比，SceneSmith生成的环境包含更多物品，场景类型也更为多样，涵盖私人办公室、陶瓷店，甚至Minecraft主题游戏室。

SceneSmith还赢得了逾200名用户的青睐。超过90%的受测用户认为该系统生成的视觉效果更加逼真，并普遍认为它比其他方法更能精准遵循提示词的要求。换言之，它是目前最善于生成用户真正期望见到的虚拟训练场的系统。

多才多艺的系统

SceneSmith在真实感、多样性和场景丰富度方面均表现出色，即便是生成单个三维物体也不例外。用户可以提示它创建一辆滚轮服务推车，系统会先生成一张二维图像，再将其转化为带有质量、摩擦力、惯性等物理属性的精细三维模型。

不过，如此精细的流程也带来了速度上的取舍。由于智能体需要逐一生成并仔细审查每个物体，生成单个场景可能耗费数小时。若计算资源得以增强，系统效率有望大幅提升。CSAIL工程师还希望在广泛的三维资产库建立之后，将系统扩展至可形变物体（如海绵）的生成。

亚马逊机器人部门应用科学家杰里米·比纳吉亚（Jeremy Binagia）未参与本研究，但他评价道："SceneSmith在这一领域实现了重大突破——它提供了一个智能体框架，仅凭简单的文本提示即可生成可直接用于仿真的室内环境。它在多个维度上推动了技术进步，包括突破仿真环境中物体密度的上限、确保所有物体在物理层面的精准性（而非仅仅追求视觉逼真），以及生成不受固定资产库限制的素材——因为这些素材可以通过文本转三维的方式即时生成。"

本文作者除普法夫和特德雷克外，还包括MIT博士生、CSAIL研究员托马斯·科恩（Thomas Cohn，SM '24），以及丰田研究院机器人工程师谢尔盖·扎哈罗夫（Sergey Zakharov）和瑞克·科里（Rick Cory，SM '08，PhD '10）。该研究得到了亚马逊、美国海军研究办公室、丰田研究院及美国国家科学基金会的部分资助。

研究团队已在上周举办的国际机器学习大会（ICML）上以焦点论文形式发布了这项成果。

Q&A

Q1：SceneSmith系统是如何生成三维场景的？

A：SceneSmith通过三个VLM智能体协作完成场景生成。"设计师"智能体负责生成场景元素，"评审师"判断场景是否真实合理，"协调者"统筹前两者的交互并决定何时完成设计。生成过程分阶段推进，依次完成整体布局、家具添加、墙面与天花板布置，以及可供机器人操作的对象放置，最终输出可直接载入物理仿真软件的完整场景。

Q2：SceneSmith生成的虚拟环境对机器人训练有什么实际帮助？

A：SceneSmith生成的场景每个包含的物品数量是此前方法的六倍，能帮助机器人练习取放物品等日常操作技能。研究团队将从未接触过SceneSmith场景的预训练机器人策略放入生成环境中测试，机器人仍能成功完成任务，证明这些虚拟场景与真实环境高度相似。此外，系统可在机器人正式部署前筛除有缺陷的行动方案，人类评审员对VLM判断结果的认同率超过99%。

Q3：SceneSmith和其他场景生成方法相比有哪些优势？

A：与"HSM"和"Holodeck"等基准方法相比，SceneSmith生成的场景物品更多、类型更多样，还能生成可动部件（如可开关的橱柜）。超过200名用户测试显示，90%以上的用户认为SceneSmith的视觉效果更逼真，且更能精准遵循用户的文本提示。此外，SceneSmith生成的三维物体带有质量、摩擦力、惯性等物理属性，不受固定资产库限制。