稳定机器人控制的层次主动推理框架

用于稳定机器人控制的层次主动推理框架

A hierarchical active inference framework for stable robotic control

https://www.sciencedirect.com/science/article/abs/pii/S095741742504518X

摘要
本文提出“主动推理–视觉运动策略学习”（AIF-VPL），一种新颖的主动推理框架，将神经科学原理与机器人模仿学习相融合。当前方法难以兼顾稳定性与适应性，而本架构展示了皮层–小脑–脊髓层级计算原理如何解决这一挑战：在皮层层面，混合Conv-xLSTM网络结合多模态注意力模块（MAM），处理时空视觉–本体感觉输入以进行任务规划；受小脑启发的中层采用精度加权变分自编码器（VAE）实现主动推理，通过迭代动作优化最小化感觉预测误差，显著提升运动稳定性（急动度降低35%）；脊髓层面则由xLSTM–Transformer网络实现低延迟、结构化的动作序列执行。在拖拽（Drag）、转移（Transfer）与推–T（Push-T）三项操作任务上评估表明，AIF-VPL达成93–100%成功率，优于扩散策略与行为克隆基线。消融实验验证了各神经生物学启发组件的必要性：MAM生成时序一致的表征，主动推理机制使轨迹急动度降低35%。本工作首次实现了层级化主动推理在机器人中的可部署应用，为神经机器人学与计算神经科学搭建了原理性桥梁。

引言
在非结构化环境中实现机器人操作，需无缝整合感知、决策与运动控制（Panda 等，2025；Yang 等，2025）。尽管机器学习已有进展，现有系统仍难以企及生物感觉运动系统的鲁棒性与适应性（Billard & Kragic，2019；Todorov，2004）。其根本局限在于：多数机器人架构将感知与动作视为分离模块（Merel 等，2019），忽略了支撑生物运动控制的层级性、预测性与误差校正机制（Ijspeert，2008；Tani & Nolfi，1999）。

生物系统通过皮层–小脑–脊髓层级架构应对该挑战：皮层利用多模态上下文规划动作（Friston，2010）；小脑通过最小化感觉预测误差精细调节运动；脊髓则执行低延迟运动指令（Pimentel 等，2023）。尽管该架构已启发若干计算模型（Buckley 等，2017），现有机器人实现或过度简化层级结构，或未能在真实任务中部署——尤其缺失一个类小脑的主动推理（AIF）层，以通过持续误差校正稳定运动（Oliver 等，2022）。

为应对上述挑战，我们提出一种基于生物学的架构，统一感觉运动控制三大核心原理：

1. 皮层层级处理：采用Conv-xLSTM（长短期记忆）网络与多模态关联层，实现视觉与本体感觉输入的时空整合，支持任务规划与模仿；
2. 类小脑预测处理：通过精度加权变分自编码器（VAE）持续最小化感觉预测误差，模拟主动推理过程；
3. 类脊髓反射控制：由xLSTM–Transformer编码器网络实现，确保低延迟运动响应。

该三层架构弥合了高层决策与底层动作执行的传统鸿沟，同时保持生物学保真度。

本工作的意义体现于三项贡献：
• 首次在机器人中实现完整皮层–小脑–脊髓主动推理层级的实用化部署，突破了既往纯理论或单层建模的局限；
• 证实自由能最小化可有效化解模仿学习中的稳定性–适应性权衡——在任务成功率保持93–100%的前提下，轨迹平滑度提升35.29%；
• 提出一种生物学合理、模块化的架构，既推动神经机器人学（作为感觉运动理论的实验平台），亦促进应用机器人学（作为稳定、可泛化的控制框架）。

章节片段

机器人控制中的模仿学习模仿学习已成为机器人技能习得的基础范式，可高效地从专家示范中学习操作行为（Hussein 等，2017）。该领域已从早期的行为克隆方法演进为现代概率建模方法。尽管传统行为克隆实现简便，却易受误差累积与分布偏移影响（Zare 等，2024）。交互式方法（如 DAgger）通过……

整体层级控制框架人类感觉运动系统具有三层架构（图1a），因此我们亦构建了一种层级化生成式控制框架。高层控制器模拟大脑皮层与基底神经节的运作机制，整合本体感觉与视觉输入，并确定运动目标（图1b）。为模拟皮层对多模态信息的学习与注意加工过程，我们引入多模态注意力模块（MAM），用于融合并……

任务描述我们的隐式层级生成模型使机器人能在仿真环境中自主习得并执行指定的操作任务。我们在三种不同场景中验证该模型（图4）：

• Drag（拖拽）任务：机器人利用末端执行器将箱子拉近，随后拾取随机生成的木块并投入箱中，最后将箱子推回原位；
• Transfer（转移）任务：要求机器人使用……

讨论本研究结果表明，我们提出的生物学启发式层级主动推理框架显著推进了机器人模仿学习的发展水平。通过映射生物运动系统的皮层–小脑–脊髓组织结构，该架构在稳定性与泛化能力上均优于现有方法。其核心创新在于将多模态感知与层级化控制紧密整合——各层级专精于特定功能……

结论本文提出了 AIF-VPL——一种用于机器人模仿学习的层级化主动推理框架，成功将神经科学原理与可部署控制架构相联结。通过仿照生物运动系统的皮层–小脑–脊髓组织，本方法实现了三项关键进展：（1）皮层层级通过 Conv-xLSTM 网络与注意力机制实现多模态融合，构建鲁棒任务表征；（2）类小脑的主动推理机制通过预测……

原文链接：https://www.sciencedirect.com/science/article/abs/pii/S095741742504518X