四川大学雷印杰：多模态智能体如何走向自主行动？| CNCC 2026

通过规划、协作与反馈，突破大模型单次推理的局限。

作者丨马晓宁

编辑丨张 驰

大模型能够回答问题 ，但距离 真正理解世界、执行任务，还有多远？从一次性推理走向自主规划、执行与反馈，从理解视觉信息走向与物理世界交互，智能体正在推动人工智能研究范式发生新的变化。

在中国计算机大会CNCC 2026上，四川大学教授雷印杰，发表了以《多模态智能体前沿研究与发展趋势》为题的演讲，分享了他对智能体技术演进的思考，以及团队近年来在多模态智能体领域的研究进展。

在他看来，智能体与传统大模型的一大区别，在于突破了“一次性推理”的局限。通过引入目标规划、工具调用、记忆管理和反馈修正等机制，智能体能够将大模型的能力转化为可执行、可校正的任务闭环。而在多模态智能体的发展中，如何打通视觉、语言与行动（VLA），尤其是将行动能力引入人工智能系统，是实现技术落地、创造实际价值的关键。

围绕这一方向，雷印杰介绍了团队在三维场景理解、视频理解、具身智能和视频生成等领域的一系列探索：通过多智能体协作优化三维场景的观测视角，利用动态视觉证据提升视频理解能力，改善机器人执行任务时的效率与稳定性，以及通过引入物理知识，让AI生成的视频更加符合真实世界的运动规律。

与此同时，他也指出，当前多模态智能体仍面临离散感知证据难以有效整合、自主决策存在安全与伦理风险等挑战。在报告最后的交流环节，他还特别讨论了触觉感知对于具身智能的重要性，以及现阶段触觉传感器在硬件能力上的局限。

从感知、理解到行动，从数字世界走向物理世界，多模态智能体正在拓展人工智能的能力边界，但距离真正自主、可靠地完成复杂任务，仍有不少问题需要解决。

01

从一次推理到任务闭环

大模型能够理解输入、进行推理并生成结果，但面对复杂任务，一次推理往往不够。

信息不足，需要补充证据；执行失败，需要重新规划；任务涉及多种能力，则需要调用工具、组织协作。

雷印杰认为，智能体与传统单次推理的重要区别，在于引入了目标规划、工具调用、记忆管理和反馈修正等机制，使模型能力能够转化为可执行、可校正的任务过程。

大语言模型仍然承担认知与调度中枢的作用，智能体则将其能力延伸到实际任务中。

这一方向已有多个代表性研究。

2023年，姚舜宇等人提出的思维树（Tree of Thoughts，ToT）框架，将单一路径的思维链推理扩展为树状搜索，使模型能够探索候选思路、评估结果，并在必要时回溯。

AutoGen则通过多个智能体之间的对话、分工协作和工具调用，支持更加复杂的任务求解。

在垂直领域，2026年发表于《Nature》的罕见病辅助诊断系统DeepRare，通过专业智能体协作，整合临床表型、基因信息和医学知识，建立可追溯的诊断证据链。

医疗任务的复杂性，也是团队在实际合作中感受到的问题。与四川大学华西医院医生交流时，他们发现不同医生提出的需求往往并不相同，很难用一套固定流程覆盖全部任务。

在这样的场景中，不同智能体可以承担信息检索、知识分析和证据核验等工作，为复杂诊断提供辅助。

02

从三维场景到长视频，

如何主动寻找证据？

环境理解是多模态智能体执行任务的前提。

在复杂三维场景中，模型不仅需要识别物体，还要理解物体之间的空间关系。然而，传统方法通常提取大量场景特征，其中许多信息与当前问题无关，关键区域的细节反而可能被遗漏。

在CVPR 2025发表的LSceneLLM研究中，团队提出了任务自适应的视觉特征提取框架。

该方法利用大语言模型的注意力信息，定位与当前任务相关的场景区域，再通过场景放大模块补充细粒度特征。

例如，当问题涉及某个具体物体时，系统不必以相同精度处理场景中的全部物体，而是重点提取与任务有关的局部信息。

研究还构建了XR-Scene评测基准，涵盖大型三维场景问答、场景描述和具身规划等任务。实验结果显示，该方法在相关评测中优于多个对比系统。

特征选择解决了应该重点处理哪些信息的问题，但在三维空间中，关键物体可能被遮挡，相关空间关系也未必能够从当前视角判断。

如果缺少必要的观察信息，再强的推理能力也难以作出准确判断。

在ECCV 2026的Agentic Collaborative Cognition for Zero-Shot 3D Understanding研究中，团队引入规划智能体与感知智能体，尝试通过多轮协作改善这一问题。

规划智能体根据任务需求选择观察视角，感知智能体则整合不同视角中的物体属性和空间信息，更新整体认知地图。

当现有证据不足时，系统重新规划视角，再利用新的观察结果修正判断。原本受限于固定视角的三维理解，由此变成可以反复补充信息的过程。

获得新的观察视角后，还需要将分散的信息组织起来。

例如，要寻找一把位于桌子附近、同时满足其他空间条件的椅子，仅凭椅子自身的局部观察，难以判断它是否符合全部要求。

在另一项GEC研究中，团队以共视关系构建视图图，将不同视角中的物体及其空间联系组织起来，再根据查询需求进行关系检索和证据路径推理，通过跨视角一致性约束构建证据链。

两项工作的侧重点有所不同：前者解决如何寻找更合适的观察视角，后者关注如何利用跨视角证据完成空间关系推理。

类似的问题也出现在长视频理解中。

一个持续数小时的视频包含大量画面，但回答具体问题所需的信息，可能只集中在几个关键时刻。

三维场景中的视角选择与视频理解中的关键帧选择，在这一点上具有相似性：并非所有观察信息都同样重要。

在EviSelect研究中，团队提出证据驱动的动态视觉选择框架。

系统先利用稀疏视觉输入获取初步证据，再根据模型内部的注意力信息，动态选择相关时间点，并调整局部采样密度和空间分辨率。研究还引入强化学习，通过GRPO策略优化，兼顾视频理解准确性与计算效率。

从任务相关特征提取，到主动规划视角，再到长视频中的动态帧选择，研究的共同点在于根据任务寻找有效证据，并在信息不足时继续补充观察。

03

从理解到动作，

机器人不仅要完成任务

理解环境并不是多模态智能体的最终目标。

雷印杰在演讲中特别强调了Action的重要性。过去，团队在视觉理解、三维场景认知等方面开展了大量研究，如今则将更多精力投入具身智能，希望把模型的感知与推理能力转化为现实行动。

在他看来，人工智能要真正进入各行各业，不能只停留在识别和理解阶段，还需要具备实际操作能力。

视觉—语言—动作模型（Vision-Language-Action Model，VLA）是这一方向的重要技术路径。

自动驾驶同样需要将感知与预测转化为行动。尤其在突发事件、极端天气等复杂环境中，系统不仅要识别道路，还必须预测场景变化并调整驾驶策略。演讲中引用的CoWorld-VLA研究，便尝试借助多专家世界模型协同完成相关任务。

在机器人操作中，团队则注意到一个容易被忽略的问题：任务虽然完成了，执行过程却未必高效。

机械臂即使完成抓取、放置等操作，也可能反复调整位置，出现动作抖动或冗余步骤。只评价最终成功率，便难以发现这些缺陷。

在ECCV 2026发表的PolicyTrim研究中，团队将优化重点放在VLA模型的策略执行效率上。

研究主要考虑两个问题：模型一次预测的动作序列，有多少步骤能够可靠执行？完成同一个任务，能否减少不必要的物理动作？

动作序列过长，后半段的预测可靠性可能下降；执行步骤过多，又会增加操作时间，并可能引入误差。

PolicyTrim采用强化学习后训练框架，一方面动态探索并扩展可靠动作窗口，另一方面通过考虑动作冗余的奖励机制，压缩不必要的执行步骤。

实验结果显示，该方法能够提高动作序列的有效利用率，减少冗余操作，改善部署效率。

在另一项Selective Future Distillation研究中，团队关注的是未来信息对当前动作决策的影响。

具有未来信息的教师模型可以为当前策略提供指导，但并非所有未来信息都有利于决策。部分信息甚至可能产生有害指导，干扰动作预测。

研究因此尝试选择性保留有益的未来信息，降低不恰当指导带来的影响。

这两项工作的关注点 有所不 同，但都涉及具身智能的执行过程：机器人不仅要完成任务，还需要减少无效动作，提高操作的稳定性与效率。

04

从运动生成到物理可信，

视频还缺少什么？

除了环境理解与具身行动，团队还将结构化推理与协作机制应用到了视频生成中。

当前的视频生成模型已经能够合成视觉质量较高的画面，但在复杂运动场景中，仍可能出现运动失真、几何结构不一致等问题。

例如，同一个场景中，建筑物保持静止，汽车沿道路移动，旗帜则随风发生非刚体形变。

如果不区分这些运动类型，统一生成整个场景，就容易出现物体运动不合理的情况。

在CVPR 2026的一项研究中，团队提出运动解耦框架，将物体运动划分为静止、刚体和非刚体三类。

该方法通过结构化运动图组织不同物体的运动关系，再针对各类运动施加相应的生成约束，以改善复杂场景中的运动表现。

但运动类型的区分，还不足以解决更加复杂的物理变化。

例如，蜂蜜倒入水中，需要表现下沉、流动与逐渐混合；重物压向弹簧，也应当呈现与受力变化相对应的连续形变。

部分生成模型虽然能够描绘物体外观，却无法合理表现这些中间状态。

针对这一问题，团队在CVPR 2026发表了Chain of Event-Centric Causal Thought for Physically Plausible Video Generation。

研究提出以事件为中心的物理可信视频生成框架，将复杂物理现象拆分为一系列具有因果联系的事件。

其中，物理驱动的事件链推理模块（PECR）引入相关物理公式，组织事件顺序与状态变化；过渡感知跨模态提示模块（TCP）则将事件描述与视觉关键帧结合，为连续视频生成提供引导。

以重物压缩弹簧为例，系统不仅要确定受力前后的状态，还需要根据事件间的物理联系，生成与受力过程相对应的中间变化。

在蜂蜜入水、弹簧受力等实验案例中，相比部分基线方法，该框架生成的动态过程更加合理。

不过，这些尝试还没有解决全部物理可信视频生成问题。无论是物体运动，还是连续事件之间的因果联系，当前生成模型对现实物理规律的表达仍然存在不足。

05

从自主执行到安全可信，

还有哪些瓶颈？

在演讲最后，多模态智能体尚未解决的问题成为讨论重点。

首先是认知信息难以统一。

多模态模型可以提取视觉、语言和动作信息，不同智能体也能够分工协作，但这些信息往往分散在不同视角、时间和任务阶段中。

如何将离散的感知证据组织为时空一致、能够持续推理并支撑行动的世界认知表示，仍然是一个难题。

系统可能识别出物体，却无法稳定追踪物体关系的变化；能够完成局部操作，却难以在长程任务中保持目标一致。

另一个问题来自自主决策。

智能体需要自主规划、调用工具，并根据环境反馈调整行动，这意味着系统必须获得一定的决策与执行权限。

但当模型输出进一步转化为现实操作，错误决策带来的后果也可能扩大。安全性、可控性与责任归属，因此成为智能体进入实际应用时无法回避的问题。

演讲结束后，一位来自西南政法大学的听众提出了触觉感知的问题：机器人抓取鸡蛋与抓取哑铃，需要完全不同的受力控制方式，触觉是否会成为未来具身智能的重要模态？

对此，雷印杰表示，触觉是具身智能非常重要的感知能力。团队已经开展相关研究，也采购了机械臂和触觉传感设备。

不过，目前部分设备主要感知夹爪特定方向的受力，与人手能够感知多方向受力的触觉能力仍有明显差距。他认为，这一问题在现阶段很大程度上受到传感器硬件的限制。

从三维空间认知到机器人行动，再到物理可信视频生成，多模态智能体正在通过规划、协作和反馈，将大模型的能力延伸到更加复杂的任务。

如何统一分散的感知信息、保证执行过程可靠，并控制自主决策的风险，仍然是智能体走向现实应用需要解决的问题。

CNCC 已经结束，AI科技评论在参会过程中了解到很多新的技术进展，也收获了不少同行交流的心得，欢迎参会的研究者、学生，以及关注计算机领域前沿进展的读者加入我们的 CNCC 交流社群。

在这里，你可以认识同行、交流研究，分享招生信息、科研合作、约饭、投稿、组队参会等，寻找潜在的合作伙伴。

大会期间，我们持续带来了现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华，后续也会继续分享相关内容。

群里见。

进群传送门：扫码进群或添加微信Qvv0909777，备注：CNCC + 单位/学校+姓名+方向。

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！

公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。