POSTECH与KAIST联手解决AI规划中的幻觉问题

这项由韩国浦项科技大学（POSTECH）与韩国科学技术院（KAIST）联合开展的研究，以预印本形式发布于2026年7月2日，论文编号为arXiv:2607.02403，发表于cs.RO（机器人学）领域。感兴趣的读者可通过该编号在arXiv平台查找完整论文。

**研究概要：一个关于"纸上谈兵"的老问题**

假设你正在练习一套新的围棋布局。你在脑子里把每一步棋推演了一遍，觉得自己必胜无疑——但真正落子之后，对手的反应跟你预想的完全不同，整套战略瞬间崩盘。这种"脑内完美、现实一塌糊涂"的困境，正是当前机器人和AI规划系统面临的核心挑战。

研究团队注意到，现有的AI规划系统在为机器人制定行动方案时，会在"世界模型"（可以理解为AI的想象力引擎）中反复推演各种动作序列，然后选出看起来最能达到目标的那一套去执行。然而，这套选拔机制存在一个致命盲区：它只看最终结果好不好看，却完全不管中间每一步有没有在现实中站得住脚。于是AI就可能挑出一套"纸面上完美"但"现实中根本做不到"的行动计划。

为了弥补这个漏洞，研究团队提出了一个名为ACID（Action Consistency via Inverse Dynamics，通过逆向动力学实现动作一致性）的新框架。它的核心思路可以用一句话概括：在AI评分每一套行动方案时，不仅要看"最终能不能到达目标"，还要追问"中间每一步是不是真实可行的"。

一、世界模型：机器人脑子里的"想象力剧场"

要理解这项研究，先得弄清楚AI规划系统的工作原理。

现代机器人在执行任务之前，并不会直接在现实环境中反复试错——那样既慢又容易损坏设备。取而代之的，是让机器人在一个学习好的"世界模型"里进行大量虚拟推演。这个世界模型，本质上是一个AI学会的"现实模拟器"：给它一个当前状态和一个动作，它就能预测下一步会是什么状态。通过把这种预测一步步串联起来，就能在脑子里模拟出一整段行动序列的结果。

研究团队重点关注的是一类叫做"动作条件世界模型"的设计：你输入一个动作，它就预测这个动作之后世界会变成什么样。具体来说，研究中主要使用的是一类叫做JEPA（联合嵌入预测架构）的潜在空间模型——听起来复杂，其实原理很直观：它不是直接预测像素画面，而是把每一帧图像压缩成一个紧凑的"特征向量"（可以理解为这幅画面的精华摘要），然后在这个摘要层面上预测下一步会发生什么。这种做法大大降低了计算量。

在这套框架下，规划的过程是这样的：AI随机生成大量候选行动序列，每一套都在世界模型里跑一遍，看看最终预测状态离目标有多远，然后挑选距离最近的那些，以此迭代优化，最终选出一套"最优"方案去执行。这个过程使用的是一种叫做交叉熵方法（CEM）的优化算法，可以理解为一种"优胜劣汰、不断进化"的候选方案筛选机制。

然而，这套筛选机制的评分标准只有一条：最终预测状态有多接近目标。中间的每一步是否真实、是否可以在现实环境中被那个动作所产生，完全不在考察范围之内。

二、致命盲区：AI的"美好想象"为何会在现实中翻车

举一个更直观的例子来说明这个问题。

假设你让一个机器人把桌上的一根绳子摆成特定形状。AI在世界模型里推演了几百套方案，其中有一套的最终预测画面跟目标形状非常接近，于是被选中执行。但当机器人真正去做这些动作时，绳子根本没有按预测的方式运动——因为绳子的物理特性太复杂，世界模型的预测其实已经偏离了现实，只是最终画面碰巧看起来像目标而已。

这就是所谓的"不可实现的轨迹"问题：世界模型预测出来的那条路径，在现实中根本走不通。更准确地说，AI规划的某些中间步骤，在现实物理法则下根本不可能由那个动作产生。就像你脑子里的一步棋预测对手会走A，但对手实际上走了B，整个后续推演就全乱了。

过去的研究者们也意识到了这个问题，并尝试从"改进世界模型本身"的角度入手：要么用更大的视频生成模型，让预测更逼真；要么通过额外的训练技巧让模型更严格地遵守动作条件。但这些方法要么训练成本高昂，要么对世界模型的架构有特定要求（比如无法适用于假设确定性状态转换的JEPA类模型），而且最根本的问题始终没有被解决：即便预测再逼真，评分标准依然只看终点，不看过程。

研究团队换了一个思路：与其改造世界模型，不如在**规划时的评分标准**上做文章。不修改模型，只改变"用什么尺子量好坏"。

三、逆向侦探：用"倒推"来验证每一步是否站得住脚

研究团队引入了一个关键工具——逆向动力学模型（Inverse Dynamics Model，IDM）。

正向动力学是"给定状态和动作，预测下一个状态"。逆向动力学则反过来："给定前后两个状态，推断中间发生了什么动作"。这两种模型的关系，就像导航软件的正向规划（从A到B怎么走）和逆向还原（看着起点终点，猜你中间走了哪条路）。

为什么逆向动力学在这里特别有用？研究团队指出了一个关键观察：在具身控制领域（也就是机器人、导航这类任务），前后两帧观测之间的信息对动作有很强的约束力——如果你知道机器人在A状态，然后变成了B状态，能产生这种转变的动作其实是有限的、可预测的。这跟文字生成图像那种"一个描述对应无数种画面"的多对多关系截然不同。

基于这个特性，研究团队设计了如下的验证逻辑：当AI用动作$a_t$驱动世界模型，从状态$\hat{z}_t$预测出下一个状态$\hat{z}_{t+1}$时，如果这个预测是真实可行的，那么把$\hat{z}_t$和$\hat{z}_{t+1}$丢给逆向动力学模型，它应该能反推出一个跟$a_t$非常接近的动作。如果反推出来的动作跟$a_t$差得很远，说明这个预测的转变根本不是$a_t$能够产生的——换句话说，这步预测是"虚构的"。

研究团队把这种前向预测和逆向验证之间的一致性称为**循环动作一致性（cycle action consistency）**。对一整条候选轨迹，把每一步的不一致程度加起来取平均，就得到了**动作一致性代价**——这个数值越大，说明这条轨迹越"不可实现"。

在具体实现上，这个逆向动力学模型被设计为一个轻量级的前缀-后缀变换器（prefix-suffix transformer），并采用了流匹配（flow matching）技术来生成动作预测。流匹配是一种类似扩散模型的生成方式，但计算效率更高。在推断时，研究发现只需要一个欧拉积分步骤就足够了（导航任务用了十步），这意味着它给整个规划循环增加的额外计算负担极其微小。

四、ACID框架：给评分标准装上"现实检验"

有了动作一致性代价这个工具，研究团队把它整合进了规划的总体评分公式里。

原来的评分只有一项：最终预测状态离目标有多远（目标代价）。现在变成了两项之和：目标代价加上动作一致性代价，后者乘以一个权重系数。这样，一套行动方案要得高分，既要在世界模型里"看起来到达了目标"，也要确保"每一步都是现实可行的"。不可实现的捷径被惩罚了，只有既能到达目标又走得通的路径才能脱颖而出。

然而，把两个来源不同的代价加在一起，有一个棘手的问题：它们的数值尺度可能相差悬殊。如果目标代价动辄上百，而动作一致性代价只有零点几，那么无论权重系数怎么设，一致性代价都很难真正影响排名。反之亦然。

更麻烦的是，这种尺度比例并不固定。它会随着不同的世界模型（不同的潜在空间有不同的数值范围）、不同的任务（视觉变化幅度不同）、以及CEM优化的不同迭代轮次（随着候选方案越来越集中，两个代价的分散程度会以不同速率收缩）而变化。

研究团队测量了这种变化，发现目标代价的标准差与动作一致性代价的标准差之比，在不同世界模型、不同任务、不同优化阶段之间可以相差将近一个数量级。这意味着，用一个固定的权重系数根本无法在所有场景下保持良好表现。

解决方案是一个**尺度不变的自适应权重**：在每次CEM迭代时，动态地计算当前这批候选方案中，目标代价的标准差与动作一致性代价的标准差之比，并把这个比值乘以一个基础系数λ作为权重。这样做的效果是：无论两个代价的绝对尺度如何变化，它们对候选方案排名的相对影响力始终保持可控。λ是唯一需要人工设定的参数，而且一旦针对某个世界模型设定好，就可以跨任务通用，无需为每个任务单独调参。

整个ACID框架的工作流程可以概括为：对每套候选行动序列，用世界模型正向预测出完整轨迹；用逆向动力学模型对每一步进行反推验证；计算一致性代价；用自适应权重把两个代价合并成总评分；按总评分挑选精英候选方案；迭代至收敛后执行最优方案。除了增加了逆向动力学模型这个组件，整个规划框架的其他部分完全不变。

五、实验验证：在六种任务上的全面考核

为了验证ACID的效果，研究团队在四个不同的世界模型和六种任务上进行了系统测试。

参与测试的世界模型涵盖了两大类型。其一是三种JEPA风格的潜在空间预测器，分别是Le-WM（端到端联合训练编码器和预测器，用一种叫做SIGReg的正则化方法防止特征坍塌）、PLDM（同样是端到端训练，但使用了多种正则化项的组合，且训练目标中已经包含了一个逆向动力学建模项）、以及DINO-WM（直接在预训练的DINOv2视觉特征上训练预测器，冻结编码器不参与优化）。其二是一个基于视频生成的模型NWM（使用条件扩散变换器生成未来帧，并结合CompACT压缩分词器使每帧只用16个离散token表示，以保持决策时预测的可行性）。

六种测试任务覆盖了机器人控制的多个典型场景。在刚性物体操作方面，有需要精确接触动力学的推T形块（PushT）、二自由度机械臂伸展（Reacher）、以及三维空间中的抓取和放置立方体（OGBench-Cube）。在可变形物体操作方面，有需要预测绳索复杂动力学的绳索操作（Rope Manipulation）、以及需要预测上百个粒子集体行为的颗粒物操作（Granular Manipulation）。此外还有基于真实世界数据集RECON的目标条件视觉导航，该数据集包含超过5000条在多样化真实环境中自主采集的导航轨迹。

对于刚性物体操作，用成功率（%）衡量；对于可变形物体操作，用倒角距离（Chamfer Distance，数值越小表示形状越接近目标）衡量；对于视觉导航，用绝对轨迹误差（ATE）和相对位姿误差（RPE）衡量。

结果显示，在所有四个世界模型、六种任务上，ACID都带来了改善。具体而言，Le-WM在Cube、Reacher、PushT上的成功率分别提升了4%、12%、4%，PLDM则分别提升了10%、14%、4%。DINO-WM在绳索操作上的倒角距离从1.38降至0.56（降幅约59%），在颗粒物操作上从0.49降至0.30（降幅约39%）。NWM结合CompACT在视觉导航上的ATE下降了2.3%，RPE下降了1.5%。

在可变形物体任务上还有一组直观的对比演示值得细说：对于同一个操作任务，原始规划选出的动作序列在世界模型的预测轨迹里看起来完美地到达了目标形状，但在真实环境中执行时，绳索或颗粒物的实际运动轨迹与预测完全脱节，根本没有到达目标。加入ACID之后，同样的任务中，真实环境的执行结果与世界模型的预测轨迹高度吻合，且最终确实到达了目标。这一对比直接印证了ACID所针对的那个核心问题：原来的评分机制会选出那些在模型里"看起来美好"但在现实里"根本做不到"的方案。

六、鲁棒性与效率：少花力气，多办事

一个新方法有效果还不够，还得看它是否稳定可靠、是否划算。研究团队在这两个维度上都做了深入测试。

在超参数鲁棒性方面，研究团队对CEM的采样数量（从30到300）和λ参数（从0.005到0.1，跨越近两个数量级）进行了系统扫描。结果表明，ACID在所有CEM采样预算下都优于原始方法，从不低于基线；对于λ的选择，一个相当宽泛的范围都能带来稳定的提升，不需要精细调参。这种鲁棒性正是自适应权重机制的功劳——固定权重下，不同常数在不同任务上各有优劣，没有哪个值能在Le-WM的Cube、PushT、Reacher三个任务上全面取胜；而自适应权重通过动态归一化消除了这种对尺度的敏感性，让λ只需编码"优先目标还是优先一致性"这一语义，而非精确数值。

在计算效率方面，研究团队分两个层面进行了评估。

在每步额外开销层面，逆向动力学验证器的单次前向计算时间相当于世界模型的11.5%（Le-WM）、8.9%（PLDM）、25.0%（NWM+CompACT）、39.4%（DINO-WM）。对于JEPA类模型，这个开销相当小；对于DINO-WM，开销相对较大，但被接下来的效率收益所抵消。

在"达到同等质量所需总计算量"层面，结论更令人鼓舞。在Le-WM和PLDM上，只用30个CEM采样的ACID，就能达到300个采样的原始方法的成功率——也就是说，在达到相同性能的前提下，采样量可以缩减到原来的十分之一。在DINO-WM的绳索和颗粒物任务上，ACID的倒角距离曲线在更早的规划步骤就已经下降到了原始方法最终的水平，颗粒物任务上提前几步到达，绳索任务上甚至在第一步就已经达到了原始方法的最终水平。综合考虑每步的额外开销和规划步数的节省，DINO-WM上达到基线质量所需的总计算量约为原来的0.7倍——不仅没有因为增加了验证器而变慢，反而更快了。

七、局限性与未来方向

研究团队对ACID的局限性做了坦诚的说明。

ACID的有效性依赖于一个前提假设：连续两帧观测能够充分约束它们之间的动作。在部分可观测环境中（即当前观测信息不足以描述完整的系统状态），或者当有外部干扰导致状态转变不完全由机器人自身动作决定时，这个假设会被违反，逆向动力学模型的反推可靠性就会下降。

另一个局限是，ACID需要对逆向动力学模型进行一次专门的训练。不过，这个训练完全复用了世界模型训练时使用的离线数据集，不需要额外的环境交互，而且当世界模型被替换为新版本时，只需要用新的编码器特征重新训练逆向动力学模型即可——训练过程与世界模型本身完全解耦。

由于ACID只修改规划时的评分标准，不触碰世界模型本身，它与所有关于世界模型的改进方向都是正交的，可以自由叠加组合。用更强大的世界模型配合ACID，是一个自然而然的未来研究方向。

归根结底，这项研究做的事情说起来很直觉：一个好的行动计划，不仅要"看起来能到达目标"，还要"每一步都站得住脚"。这两个条件以前只检查第一个，现在研究团队把第二个也加进了评分标准，而且用一个很聪明的逆向推理方式来量化"站不站得住脚"这件事。

结果证明，这个看似简单的补充，在六种不同性质的任务上、四种不同架构的世界模型上，全都带来了可量化的改善，而且没有引入沉重的计算负担，甚至在某些场景下反而提高了整体效率。这意味着，这种验证方式触及的是一个普遍存在的根本性问题，而不是某个特定场景的偶发现象。

对于未来想要让机器人更可靠地在真实世界中工作的研究者来说，ACID提供的这个"现实检验"机制或许是一个值得广泛采用的组件。有兴趣深入了解技术细节的读者，可以通过arXiv编号2607.02403查阅原始论文。

Q&A

Q1：ACID方法在规划时是如何判断一个动作序列"不可实现"的？

A：ACID引入了逆向动力学模型，对世界模型预测的每一步转变进行反向验证。具体来说，世界模型用动作$a_t$预测出从状态$\hat{z}_t$到$\hat{z}_{t+1}$的转变，然后逆向动力学模型反过来从这两个状态推断应该是什么动作。如果反推出来的动作和原来输入的$a_t$差别很大，就说明这个预测转变在现实中根本不可能由$a_t$产生，即"不可实现"。把所有时间步的这种差异加起来，就得到了动作一致性代价，代价越高说明整条轨迹越不可靠。

Q2：ACID框架为什么需要自适应权重，直接设一个固定的权重系数不行吗？

A：不同世界模型的潜在空间数值范围差异极大，不同任务中画面变化幅度不同，而且在CEM优化过程中两个代价的分散程度还会以不同速率收缩，这些因素共同导致目标代价和动作一致性代价的相对尺度持续变化。实验表明，没有哪个固定权重值能在所有任务上都表现良好。自适应权重通过每次迭代都重新计算两者的标准差之比来动态归一化，让唯一需要设定的参数λ只编码"优先哪个目标"的语义，而不是精确数值，从而实现了跨任务的稳定迁移。

Q3：ACID在可变形物体操作任务上的提升为什么比刚性物体任务更显著？

A：可变形物体（如绳索、颗粒物）的物理行为极其复杂，世界模型更容易产生与现实脱节的预测，导致不可实现轨迹的比例更高。原始规划方法只看最终预测画面像不像目标，恰好为这类"表面像但实际做不到"的方案提供了可乘之机。ACID的动作一致性代价专门惩罚这类不可实现轨迹，因此在可变形物体任务上的过滤效果格外明显。绳索任务的倒角距离降幅约59%，颗粒物任务约39%，且ACID在规划的第一步就能达到原始方法最终的水平，说明在这类任务上提前排除不可实现候选方案的收益非常显著。