EAGOR：全方位具身推理

EAGOR: Embodied reAsoninG in Omni-diRection

EAGOR：全方位具身推理

https://arxiv.org/pdf/2607.06165

摘要：

全向（360°）相机使具身智能体拥有对其周围环境的宽广且整体的视野，使其在具身任务（如导航和物体搜索）中的方向推理方面具有优势。现有的视觉语言模型（VLMs）通过常用的等距柱状投影（ERP）将360°数据投影到2D平面图像上，并使用专为透视图像设计的架构来处理它们。然而，它们忽视了一个事实，即360°数据本质上是球形的，其中每个像素编码了一个相对于智能体视角的方向。因此，现有方法产生的方向估计往往在由于智能体运动导致的相机视角变换下是不一致的。这在无地图导航中变得至关重要，在那里，智能体在360°环境中导航时，必须在其自我中心坐标系中持续更新其朝向目标的方向。在本文中，我们提出了EAGOR，一个用于具身360°方向推理的无需训练且几何感知的框架。我们的核心思想是将来自360°观测的动态智能体到目标的方向关系重构为球面上的递归贝叶斯估计，而不是ERP图像中的像素坐标预测。因此，EAGOR在球面上维持一个针对目标方向的连续且几何正确的信念，并在智能体运动下等变地传播它，而无需训练骨干VLMs。为了实现这一公式化表述，我们引入了一个球谐信念场（SH-BF），其球谐表示为直接在球面流形上进行目标方向估计提供了一个全局定义且旋转感知的基础。因此，EAGOR避免了由ERP引起的接缝不连续性、纬度失真和插值误差。我们在两个基准数据集和使用足式机器人的真实世界实验中评估了EAGOR，针对多个方向推理任务。EAGOR持续优于基线方法，在主动视觉搜索任务中，分别在HOS和OSR-Bench上实现了+34.4%和+45.6%的平均相对增益。值得注意的是，EAGOR将导航成功率提高了+14.6%，减少了17.7%的步数和24.5%的平均角度误差。

关键词： 具身360°推理，无地图导航，视觉搜索

1 引言

方向推理——估计、跟踪和更新相对于智能体自身物理姿态的空间向量的基本能力——是具身人工智能的基石。正如人类依靠对周围环境的持续、多感官感知来在视线移开时跟踪目标一样，物理智能体（如机器人）必须准确计算目标的自我中心方向，并在自我运动期间动态地维持它[1, 2, 3]。

全向（360°）相机以180° × 360°的视场角（FoV）捕获完整的周围环境，使智能体能够观察各个方向的目标、地标和障碍物[4, 5]。这使它们在具身人工智能任务（如无地图导航和主动视觉搜索）的方向推理中具有优势。在实践中，球形数据通过等距柱状投影（ERP），即全景图，转换为2D平面表示，以保留全向信息。然而，ERP引入了接缝不连续性和依赖于纬度的失真，这违反了内置于最近流行的视觉语言模型（VLMs）中的欧几里得假设，例如[6]。因此，由于相机变换或智能体运动，它会导致空间关系和方向估计不一致[7, 8, 9, 10, 11]。

至关重要的是，全向推理根据智能体周围的观察方向来表示周围场景，而不是平坦图像平面上的位置。因此，对于具身全向推理，相关输出不仅是目标的位置，还包括智能体应该转向、移动或搜索的自我中心方向[12]。如图2所示，基于投影的表示在相机旋转下会累积插值误差，导致预测的目标方向随时间漂移。这揭示了全向推理中的一个表示鸿沟。虽然VLM在图像空间中提供了强大的语义观察，但底层几何必须在尊重以观察者为中心的球体几何的表示中进行处理。

对于动作，智能体需要一个在运动下保持一致的、朝向目标的连续自我中心方向，而不仅仅是全景图中的2D像素位置。因此，一个合适的框架应该满足两个要求：（a）在球面上概率性地表示目标方向（图1d），以及（b）在智能体移动和旋转时一致地传播这种状态（图1a,b）。这激发了我们的研究问题：VLM能否通过全景观察的连续信念表示，在没有特定任务训练的情况下执行几何感知的全向推理？

为了回答这个问题，我们引入了EAGOR（全向具身推理），一个无需训练且几何感知的具身全向推理框架。EAGOR将语义感知与几何状态估计解耦。EAGOR没有直接要求检测器或视觉语言模型预测最终的目标方向，而是使用它们从当前全景图中提取以目标为条件的证据。全向推理被重新建模为球面上的信念估计。这种证据从投影的图像坐标提升到球面上的观察方向，并被视为可能目标方向上的观察似然。我们使用球谐信念场（SH-BF）对这种似然进行建模，在SH域中表示连续的方向信念（第3.2节）。这实现了准确的全向推理所需的精确似然估计，同时避免了由ERP引起的伪影，如图1d所示。

我们在多个具身全向推理任务中评估EAGOR：Habitat-Sim中的航点跟随和无地图导航；HOS和OSR-Bench上的主动视觉搜索；以及足式机器人上的真实世界动态跟踪。值得注意的是，对于主动视觉搜索（图1e），EAGOR在HOS上实现了高达约1.5倍的增益，并在OSR-Bench上以10倍更小的骨干网络实现了超过35%的相对改进。对于无地图导航（图1c），它将时间不一致性降低了6.5倍。真实世界的结果进一步证明了我们无需训练方法的泛化能力。

总而言之，我们的贡献是：（I）我们确定了具身全向推理中的一个关键表示鸿沟——机器人动作需要球面上与运动一致的方向信念（图2）。（II）我们提出了EAGOR，一个无需训练且几何感知的框架，它将基于VLM的语义证据建模为球面上的似然，以实现准确的全向推理（图3）。（III）我们引入了SH-BF，用于表示机器人运动下连续且旋转一致的方向信念传播（第3.2节）。（IV）我们在多个具身全向推理任务和基准上验证了EAGOR，并结合足式机器人的真实世界验证，展示了其在导航和视觉搜索方面的卓越推理性能（第4.2节）。

2 相关工作

具身导航的全向感知。 早期的方法通过将全景图分解为透视裁剪（perspective crops）并应用标准的预训练模型来解决ERP失真问题[13, 11, 14]，而近期的方法则结合了全景感知注意力、球面位置编码或大规模全景监督[15, 16, 17, 18, 19]；然而，OSR-Bench和ODI-Bench等基准测试表明，多模态大语言模型（MLLMs）在参考系转换方面仍然存在困难[20, 21, 22, 23]，这表明语义识别并不能保证几何正确性：模型可能识别出了目标，但对其方向的估计却是错误的。这些局限性在导航和主动视觉搜索等具身应用中变得至关重要，因为在这些应用中，智能体必须在运动过程中动态维持其自我中心的目标方向。先前的方法通常不直接在球面上进行推理，而是依赖于全局参考系、预建地图、全景裁剪的逐帧决策或平面坐标中的航点预测[24, 25, 26, 27, 28, 29]。因此，它们的方向估计仍然依赖于在自我中心旋转下会发生失真的表示。因此，我们的工作将方向推理不是视为一个需要逐帧解决的识别问题，而是视为一个需要在球面上连续维持的几何状态估计问题。

用于方向估计的概率证据累积。 现有推理框架的一个更深层次的局限性在于，它们将VLM的空间输出视为确定性的坐标预测，丢弃了底层的不确定性，并将单一的噪声或错误观测作为最终答案[30, 25, 19]。先前的方法通常不显式地对这种不确定性进行建模，而是依赖于重复查询或基于置信度的过滤[31, 32]。在具身环境中，方向估计本质上是序列化的：随着智能体的移动，智能体到目标的方向必须在自我中心旋转下进行更新。相反，我们将观测视为概率性的方向似然，并随时间递归地累积它们[33, 34]，从而在球面上形成关于可能目标方向的连续信念。这允许在累积新证据时，随时间维持和优化多个合理的方向。与先前在2D平面图像空间中运行的概率方法[35, 36]不同，我们的框架直接在球面上维持和更新这种信念。

球谐表示。 球谐函数（SH）为二维球面（S²）上的信号提供了一种等变表示，并已被广泛应用于等变特征学习和全向学习任务[37, 9, 38, 39]，例如定位[40]、深度估计[39]和场景理解[9]。然而，所有这些工作都将SH表示作为学习到的特定任务特征[37, 38]，或编码的解析信号[39]。在这项工作中，我们利用SH作为递归贝叶斯估计的信念表示，它将噪声的、开放词汇的观测结果纳入方向似然中。我们提出的SH-BF通过将冻结的VLM证据与递归球面信念估计相连接，实现了这种信念表示，从而在具身导航和主动视觉搜索中实现了智能体到目标方向的几何一致表示。

3 方法论

3.1 从全景观测到方向似然

4 实验与评估

4.1 实验设置与实现细节

基线与实现细节。 对于HOS、OSR-Bench和真实世界评估，我们将Qwen2.5+EAGOR和Gemma-3+EAGOR与微调的和零样本的VLM基线进行比较。对于基于导航的实验，我们将EAGOR与三个ERP空间基线进行比较：Centroid、Centroid-Circ和Grid。所有实验，包括基线，都在具有4× NVIDIA RTX 5090 GPU（每个具有32GB显存）的系统上的相同设置下进行。额外的实验和基线细节在补充材料第2节中提供。

4.2 结果与讨论

我们将评估围绕三个实验问题展开——

EQ-1： EAGOR能否通过将VLM观测转换为连续的方向信念，跨不同的VLM骨干网络来适应并改进端到端的主动视觉搜索？

EQ-2： 在模拟的360°环境中，EAGOR能否在自我中心运动、接缝穿越和无地图导航下提供几何等变的方向推理？

EQ-3： EAGOR能否在真实世界环境中维持一致的全向推理？

主动视觉搜索。 表1展示了在H*-Bench人形物体搜索（HOS）和OSR-Bench上的定量结果。对于HOS，我们在完全零样本设置下，跨参数范围从3B到12B的冻结VLM骨干网络评估EAGOR。在所有骨干网络上，EAGOR持续改进目标方向估计，与相应的独立模型相比，实现了大约1.7倍到2.2倍的增益。值得注意的是，带有EAGOR的Qwen2.5-VL-7B超越了更大的独立Gemma-3-12B，表明显式的球面信念推理可以胜过增加的骨干网络容量。我们进一步在2000多个OSR-Bench的多目标相对方向查询上评估EAGOR。如表1所示，EAGOR+Qwen2.5-VL-7B达到了25.2%，优于其标准骨干网络（16.8%）以及10倍大的Qwen2.5-VL-72B（18.1%）。EAGOR也是高效的，收敛所需的视图比基线少1.4倍，准确率在回合中从8.5%单调提高到40.1%。定性结果和额外分析请参考补充材料第3节。

[A-1] 通过将VLM观测转换为持久的方向信念，EAGOR在冻结的VLM骨干网络中持续改进具身全向推理，使较小的模型能够在没有特定任务训练的情况下优于大得多的模型。

航点跟随。 表2展示了四个连续轨迹段（L1-L4）的平均角度误差（MAE），段与段之间的转弯越来越具有挑战性，以及在遮挡、接缝穿越和时间不一致性下的鲁棒性。原始VLM质心在旋转和接缝穿越下显著退化，而Cent-Circ仅部分缓解了环绕误差。Grid引入了时间累积，但在旋转和遮挡下仍然不稳定。相反，EAGOR在所有段和鲁棒性条件下实现了最低的误差，同时将时间不一致性从7.3°–19.2°/步降低到2.6°/步。图6a显示，基线误差在转弯后和接缝边界附近激增，而EAGOR在处理接缝穿越时保持整体低角度误差（-34.4°），从而实现了更准确的路径跟随。

无地图导航。 表3评估了使用Qwen2.5-VL-7B从接近相反的初始航向进行的闭环导航，其中智能体在每一步执行预测的方向。EAGOR在所有指标上实现了最佳性能，具有最高的成功率和路径效率（94% SR和56.8 SPL），最少的步数（50.2），以及最低的角度误差（33.8°）。尽管Cent-Circ在接缝处理上比Centroid有所改进，但其较低的成功率表明逐帧环绕校正对于可靠控制是不够的。同样，Grid在成功率上与Centroid匹配，但产生的轨迹效率较低，表明仅靠时间累积不能确保几何一致的动作。EAGOR进一步实现了显著更强的接缝鲁棒性（70.6）。如图4和图6b所示，EAGOR实现了高效且成功的闭环导航。补充材料第3节提供了额外的结果。

[A-2] 因此，EAGOR通过在自我中心运动和接缝穿越下保持稳定的持久球面信念，在模拟的360°环境中提供几何一致的方向推理，并转化为可靠的无地图导航。

静止和移动操作下的目标方向估计。 图5定性评估了机器人静止时和移动跟踪目标时的方向估计。在这两种设置下，尽管存在真实的传感器噪声、视点变化、自我运动和目标暂时消失，EAGOR仍保持了连贯的目标方向。补充材料第3节中有额外的结果。

[A-3] EAGOR在真实世界的室内环境中维持一致的全向推理，尽管存在传感器噪声、视点变化和自我运动，但在静止和移动机器人操作下都保持了连贯的目标方向信念。

4.3 关于SH带限的消融实验与运行时分析

SH带限 L L 平衡了角度精度和旁瓣振铃。如图7所示，较大的 L L 能产生更锐利的定位，但在较宽的角度间隔处会导致更强的振荡。我们使用，这在避免过度吉布斯振铃的同时提供了约25°的角度分辨率。

运行时间。 与基线相比，EAGOR需要多0.6倍的推理时间（使用Qwen2.5-VL-7B时约为1.6秒对约为1.0秒），且几乎不占用额外的GPU显存。对于一种无需训练的方法而言，这种开销是微小的，并且可以通过优化[46, 47]进一步降低。

5 结论、局限性与未来工作

结论。 我们引入了EAGOR，一个用于具身全向推理的无需训练的框架，该框架将动态目标定位公式化为球面上的递归信念估计。通过维持一个连续的自我中心方向信念并在运动下对其进行一致传播，EAGOR实现了超越逐帧全景定位的几何感知推理。在仿真和真实世界足式机器人上的实验证明了球面信念表示对于鲁棒的具身全向感知的重要性。

局限性与未来工作。 EAGOR将VLM观测用作方向似然，因此对语义歧义和感知误差较为敏感。如表4所示，其主要失败模式源于罕见目标、多实例混淆和误检。尽管如此，它在多实例情况下的表现表明，跨视角信念累积部分缓解了模糊的观测。未来的工作将结合接地检测（grounded detection）进行多实例消歧，并引入平移感知、多传感器建模以实现视差感知推理。我们将探索受生物启发的感知机制以提高效率[48, 49]。项目将公开。

原文链接：https://arxiv.org/pdf/2607.06165