任务成功率从56%到83%，清华让机器人先预演再动手

机器人动手前，能不能先看一看不同选择会带来什么后果？来自清华大学和新加坡国立大学的研究者提出了 ParallelWorld，尝试把这部分判断提前：让智能体从当前状态出发，探索多条候选行动路径，比较未来的观察与任务进展，再决定眼下这一步怎么走。

结果很直接：这套方法将任务成功率从 56% 提升至 83%。核心思路是把测试时增加的计算用于行动后果的预演——系统保留更有希望的分支，按需继续向前推演；选定轨迹后，只执行其中的第一个动作，再依据执行后的新观察重新规划。

把桌上的两把摩卡壶放到炉灶上，看起来只需要"拿起来，放过去"。但对机器人来说，先搬哪一把、从哪里抓、放下后是否影响下一步，都可能改变任务的结局。如果只根据眼前的画面选择一个看似合理的动作，等到执行后才发现问题，后续规划就必须从一个更难处理的局面重新开始。

拆解任务，不等于看远一步

高层规划器可以把复杂指令拆成多个可执行的技能。对于空间理解任务，它安排相机移动或物体交互，寻找回答问题所需的证据；对于操作任务，它组合抓取、移动和放置等动作，推动环境朝目标状态变化。

问题在于，按顺序拆解任务，并不自动意味着系统考虑了不同动作的后续影响。有些动作的价值，要经过几次交互才能体现。当前视角无法辨认一个被遮挡的物体时，一次移动也许只能改变遮挡关系，却为后续观察创造了条件；操作时，一种抓取方式可能有利于拿起物体，却未必有利于接下来的放置。

ParallelWorld 因此把"未来会看到什么、任务会推进到哪里"纳入行动选择。这里的搜索发生在有明确执行范围和终止条件的高层动作上，底层控制仍由已有技能或策略完成。

预演循环与执行循环

ParallelWorld 将规划组织为相互连接的预演循环与执行循环。在预演循环中，规划器根据任务和当前观察提出多个候选动作，每个动作都从某个已有分支继续展开。系统预测或模拟动作后的观察，由此形成一棵包含不同未来路径的搜索树。

验证器随后比较候选结果，判断哪些分支更有助于获取证据或完成任务，并给出反馈。较差的分支被剪去，值得继续探索的分支被保留。规划器结合这些结果，决定继续预演还是转入执行。

搜索的宽度和深度都可以随决策情境变化。规划器决定提出多少候选动作，验证器决定保留哪些分支，规划器再决定是否继续向前推演。这使系统能够把更多计算投入仍有歧义的选择。

进入执行循环后，系统只采取选中轨迹的第一个动作。剩余步骤为当前决策提供参照，但不会被一次性执行。这一"滚动规划"机制有实际意义：未来预测可能随步数增加而偏离环境，每执行一步就重新观察，能够及时修正计划。

操作任务八种设置全部超过基线

操作评测采用 LIBERO-Pro，重点考察指令重定向和位置交换两类扰动下的泛化能力。研究覆盖 Spatial、Object、Goal 和 LIBERO-10 四个任务套件，每种设置包含 10 个任务、每个任务 10 个随机种子，共计 800 个回合。

ParallelWorld 基于 HarnessVLA 实现，论文以 Codex 作为高层规划器复现 HarnessVLA 作为直接比较对象。ParallelWorld 在八种设置中均取得更高成功率，其中 Spatial 位置交换设置提升 27 个百分点，Object 指令重定向设置提升 15 个百分点。

Goal 与 LIBERO-10 的收益相对有限。关节状态、接触过程和长任务中的误差积累，对执行结果有更大影响，仅靠预测画面较难充分刻画这些因素。

在具身理解侧，ESI-Bench 覆盖 10 类具身空间智能任务、29 个子类别。由于环境中的倒液体动作无法执行，研究排除了液体体积子类别，对其余 28 项进行评测。ParallelWorld 在其中 26 项上超过顺序式 Active Exploration。定性案例中，顺序探索把目标误认成笔，而 ParallelWorld 找到更有信息量的视角，识别出了画笔。

提升并未覆盖所有子任务。刚性容纳任务从 60.00% 降至 50.00%，几何构型任务从 17.96% 降至 16.90%。获得更多观察后，模型仍可能受限于几何推理能力。

多想一些有用，代价是5.8倍耗时

增加候选路径，是否就一定带来更好的结果？论文在 3 个 Spatial 位置交换任务上进行了搜索宽度消融，每个任务使用 10 个随机种子，共 30 个回合。自适应宽度在这组实验中取得最高成功率，耗时也低于两种固定宽度策略。固定宽度为 2 时，成功率反而低于直接执行，说明增加预演并不保证收益。

作者将差异归因于搜索预算与当前决策不确定性的匹配：分支过少可能遗漏有用选择，分支过多则增加冗余计算和筛选难度。

成本同样明确：自适应搜索的平均总耗时约为直接执行的 5.8 倍；这项消融仅覆盖 3 个任务，还不足以建立普遍的计算量与性能增长规律。如何降低预演成本，是后续走向实际部署需要解决的问题。

ParallelWorld 的收益，取决于决定任务成败的因素能否被预演结果可靠表达。当困难主要来自视角选择、目标辨认或空间布局时，比较不同未来能够改善决策；当任务要求精确度量、接触动力学或对执行误差的细致预测时，视觉预演仍有明显边界。论文给出的失败案例中，模型有时已经看到足够的信息，却仍无法判断物体之间的精确几何关系；有时生成画面看起来合理，动作却在执行时失败。图像预测的视觉合理性，不能直接等同于物理可行性。