FysicsWorld：填补全模态交互与物理感知评测的空白

来源：市场资讯

（来源：机器之心Pro）

近年来，多模态大语言模型正在经历一场快速的范式转变，新兴研究聚焦于构建能够联合处理和生成跨语言、视觉、音频以及其他潜在感官模态信息的统一全模态大模型。此类模型的目标不仅是感知全模态内容，还要将视觉理解和生成整合到统一架构中，从而实现模态间的协同交互。

这种转变的驱动力源于真实物理世界的复杂性，自从文明诞生以来，人类通过对反映现实世界本质的视觉线索、听觉信号、空间动态等复杂多模态信息的不断观察、分析和推理来实现对真实物理世界的正确认识和理解。

因此，一个面向真实物理世界的先进的全模态智能架构，不仅需要对真实世界中的多模态交互做出正确响应，还应具备遵循物理世界规律的感知与推理能力，以实现对复杂现实环境的可靠理解。

尽管当前的多模态与全模态大模型不断突破，但评测体系却始终难以跟上模型能力的扩张——模态覆盖不完整、模态之间缺乏真实物理世界关联、各种多模态任务长期局限于文本输出下的评测，难以反映模型在真实环境中的全模态耦合与人机交互的能力。这让研究者无法全面评估模型在面对复杂物理世界场景时的实际能力，也无法进行公平、统一的跨模态比较。

为解决这一发展瓶颈，飞捷科思智能科技（上海）有限公司（Fysics AI）和复旦大学认知与智能技术实验室（CITLab）研究团队共同正式推出了全球首个面向真实物理世界的统一全模态评测基准——FysicsWorld（中文名称：物理世界）

该基准不仅能够评测模型在图像、视频、音频与文本间进行双向输入与输出的能力，还覆盖了模型对真实物理世界场景的感知、理解、生成以及跨模态推理等核心能力。

图 1：FysicsWorld 全模态智能评测体系示意图

FysicsWorld 包括具备高质量样本的 16 大任务，涉及上百类真实开放域场景，并精心设计了跨模态信息之间的依赖关系与互补性，从而全面呈现物理世界多模态信息的复杂性。

此外，FysicsWorld 创新地提出了跨模态互补性筛选策略（Cross-Modal Complementarity Screening, CMCS），其通过严格的模态依赖性验证机制，确保基准中的每个样本在求解时均必须依赖多种模态的信息融合，从而有效避免「单模态捷径」带来的偏差。因此，CMCS 能够更可靠地评估模型在真实物理世界场景下的多模态综合智能水平。

通过大量实验证明，FysicsWorld 不仅能够清晰揭示当前全模态模型架构在融合多模态理解推理、基于语音驱动的人机交互、跨模态生成及物理现实世界场景感知等环节的真实短板，也为未来面向物理环境的全模态架构研发提供了诊断工具与方向指引。随着 FysicsWorld 的推出和应用，下一代人工智能正在从简单的「多模态拼接」迈向真正的全模态统一智能，在面向真实世界的理解和交互方面迈出关键一步。

深度挖掘：从「多模态拼接」到

面向真实物理世界的「全模态智能」的深度需求

随着多模态模型从最初的「视觉 + 语言」，逐步走向「视觉 + 音频 + 语言」，再到如今面向真实物理世界的全模态统一架构，人们对大模型的期待已远超「看得懂、听得懂」。

研究者希望它们能够在真实环境中准确理解现实物理世界中的复杂场景、整合来自不同感官的信号、进行跨模态推理，并以更加自然、符合物理世界规律的方式与人类交互，为未来具身智能时代的发展奠定基础。然而，现有评测体系远远无法反映模型在真实物理场景下的能力：

图 2：全模态智能评测体系对比图

在模型能力快速发展、应用场景愈发贴近真实物理世界的今天，一个能够真正覆盖任意模态输入输出，挖掘以人为主体的语音驱动多模态人机交互能力，并能够反映模型在物理真实场景下跨模态智能水平的统一评测基准体系，已经成为推动全模态智能向前迈进的迫切需求。

核心突破：FysicsWorld

首次打通「全模态全链路」的统一任务体系

全模态评测任务体系：从基础感知到高阶交互的系统覆盖

FysicsWorld 构建了一套兼顾广度与深度的任务体系，将 16 项多模态任务系统化地组织为一条从基础感知延伸至面向真实物理世界的高阶交互的能力曲线。

在基础多模态能力层面，FysicsWorld 全面检验模型在图像理解、视频理解、音频推理，以及视觉生成等核心任务上的表现，确保视觉与听觉能力在细粒度层面得到充分验证。

在高阶跨模态交互层面，FysicsWorld 进一步将评测推向真实应用场景下的跨模态交互任务，构建了细粒度的能力挖掘与评价体系，通过语音驱动的视觉理解与人机交互、基于视觉信息的音频合成、跨模态综合逻辑推断、以及基于动作序列和当前状态的后续行为预测等任务，共同构成对模型在真实物理世界中多源信号融合、语义一致性、复杂推理与动态环境适应能力的严格考查。这些设计不仅关注信息处理本身，更强调模型在真实环境中进行整体决策和协同感知的能力。

凭借这一结构完整、层级清晰的任务体系，FysicsWorld 首次实现了对全模态模型从单模态到多模态、从静态到动态、从时序到空间、从感知到生成与推理的连续覆盖，并充分贴合真实物理世界的环境复杂性，为下一代面向物理场景的全模态智能提供了真正意义上的统一评测框架。

图 3：FysicsWorld 评测体系分类图

图 4：FysicsWorld 系统性评测体系示意图

跨模态数据的融合与高质量构建：新颖的跨模态数据构造流程

FysicsWorld 在数据构建阶段采用了严谨的多源融合流程。研究团队从异构高质量数据集中筛选多模态样本，并通过人工审校与半自动化辅助校对的双重机制，对语义一致性、表达自然度和场景匹配性进行严格筛查，逐步排除不符合标准的内容，确保问答和指令在逻辑与语义上保持高准确度。

在语音驱动的人机交互相关任务中，FysicsWorld 进一步构建了闭环数据构造与验证流程：先由对文本进行自动化重写与口语化表述增强，再通过多样的语音合成技术，基于 10 余种不同的真人语音音色，构造真实自然且高度拟人化的语音交互数据，随后通过语音识别反向验证语义一致性，以保证合成的语音内容表达自然、含义明确，并与文本严格对齐。

依托这一精细化、多阶段的构建模式，FysicsWorld 构建了更加真实与自然的高质量语音驱动人机交互任务，在大规模覆盖与数据纯度之间取得了良好平衡，为全模态任务体系提供了可靠且高质量的基础数据支撑。

跨模态互补性筛选策略：打破模态孤岛，确保跨模态间的信息依赖

在多模态评测中，一个经常被忽视的风险在于，许多任务实际上并不真正依赖多模态信息即可被轻松解决，这使得评测结果难以有效反映模型真实的多模态融合能力。为解决这一长期存在的问题，FysicsWorld 创新地引入了跨模态互补性筛选策略（Cross-Modal Complementarity Screening, CMCS），从数据构造层面确保跨模态任务具备明确的模态信息耦合与依赖。

跨模态互补性筛选策略的核心机制简单而有效，对于待筛选的跨模态样本，该策略随机移除一个或多个模态，并观察评测模型的性能变化。若模型在模态消融后仍能保持较高的任务表现，则该样本被视为跨模态依赖不足或信息冗余，因而从 FysicsWorld 中剔除。这类样本容易使模型依赖单一模态的捷径作答，无法有效检验真实的多模态融合能力。

反之，经过任意模态消融后模型都无法顺利解决的数据样本才会被 FysicsWorld 保留，这些数据能够体现各模态之间显著的信息互补性和耦合性，必须整合视觉、听觉和语言线索的互补证据才能解决这类问题。

图 5：FysicsWorld 跨模态数据构造示意图

得益于跨模态互补性筛选策略，最终的数据集具备强模态互补性，使 FysicsWorld 能够更准确地检验模型的真实多模态融合水平，成为当前评估全模态能力最具参考价值的基准之一。

多维度论证：

全模态模型的真实能力图谱

基于 FysicsWorld，研究团队围绕国际上 30 余个最先进的 AI 模型进行了系统性的评测，涵盖全模态大模型、多模态大模型、特定模态的专用模型以及统一理解与生成式模型。

基础多模态能力分层清晰，基石仍待打牢

在图像、视频和音频理解的基础多模态任务中，实验结果呈现出明显分层。GPT-5 与 Gemini-2.5-Pro 等闭源模型整体领先，表现稳定可靠。开源全模态模型虽在部分任务上逐渐缩小差距，但在长视频语义链路、复杂听觉理解以及高难度推理中仍显薄弱。统一结构的理解 - 生成模型在图像和视频生成上展现一定竞争力，但在细粒度文本约束、语义一致性及结构控制能力上仍落后于专门的扩散式或视频生成模型。

这些结果揭示了当前模型在基础感知与生成能力上的主要瓶颈，同时为跨模态任务提供了重要的性能基线。

图 6：音频推理和视频生成任务中不同模型性能对比示意图

跨模态推理与交互：真实世界融合能力仍处早期

当任务从单模态切换到真实物理场景下的多模态协作时，模型性能普遍出现明显下滑，退化幅度远超预期——尤其是在那些必须依赖图像、视频、音频之间真实互补关系才能作答的任务中，短板暴露无遗。

无论是通过语音驱动的视觉理解与人机交互、基于视觉信息的音频合成、跨模态综合逻辑推断以及基于动作序列和当前状态的后续行为预测等任务，都要求模型具备深层次的跨模态交互、真实物理世界常识理解与时空推理能力，严格考查了模型在真实物理世界中多源信号融合、语义一致性、复杂推理与动态环境适应能力。然而实测表明，主流模型在面向真实世界的多模态对齐、信息融合、跨模态生成以及物理场景适应能力等关键环节，仍存在显著不足。

这些结果清晰指出，尽管多模态模型在基础认知上已有显著进展，但要实现面向真实物理世界的全模态智能，还需要在跨模态融合、动态环境理解、物理约束推理与多源感知协同等方向进一步突破。

图 7：全模态 / 视觉语言大模型在图像为中心任务上的性能对比

图 8：全模态 / 视觉语言大模型在视频为中心任务上的性能对比

洞察与趋势：面向真实物理世界的

全模态智能仍有广阔空间

现有全模态模型和多模态大模型在多源感知和基础生成上虽已初见成效，但在面对复杂物理场景、多源信息交互以及长时序动态环境时，仍难以实现稳定、深度的跨模态融合与统一推理。

这意味着，面向真实物理世界的全模态智能的下一阶段，不仅需要继续巩固单模态能力的根基，提升视觉、听觉、语言等单模态处理在真实场景中的精度与一致性，更需要在模态融合策略上进行系统性优化，实现多模态信息在时空、语义及物理约束维度的协调与整合。

跨模态动态推理、场景化理解与生成能力，将成为衡量下一代全模态模型核心竞争力的关键指标。模型不仅需要在复杂物理环境中整合图像、视频、音频与文本信息，还要能够在长时序、多事件交互、受物理环境约束的情况下保持逻辑一致性、语义连贯性与生成稳定性。这对模型的结构设计、推理机制以及数据构建提出了更高要求，也为研究者和工程团队提供了明确的发展方向。

作为首个支持全模态输入输出、覆盖感知 - 理解 - 推理 - 生成、并具备强跨模态依赖性的统一评测基准，FysicsWorld 为面向真实物理世界的全模态智能提供了可控、系统且可比较的能力映射工具，使研究者能够清晰洞察模型在多模态感知、物理场景信息融合和跨模态推理生成上的真实水平，为推动全模态智能在真实世界中实现稳定、深度的跨模态融合与统一推理提供了坚实支撑。

飞捷科思智能科技（上海）有限公司由复旦大学智能机器人与先进制造创新学院副院长、智能机器人研究院常务副院长，原英伟达 PhysX 物理引擎主要奠基人与研发团队负责人张立华教授创办，是国内唯一拥有完全自主研发的可微分通用物理仿真引擎产品的企业。

公司以新一代物理仿真引擎 Fysics 为核心，致力于打造全球领先的物理智能关键技术与产品，推动具身智能与人形机器人技术研发及应用场景的快速落地，在高精度物理仿真引擎、高质量具身智能仿真平台、机器人敏捷运动与鲁棒智能控制等领域处于行业领先水平，并向行业提供覆盖「仿真—训练—部署—迭代」的全栈解决方案。依托自主可控的物理智能底座，公司持续赋能中国具身智能与机器人产业的发展。