直面模态缺失挑战：北大彭宇新团队联合福大柯逍团队提出LIMSSR

本文是北京大学彭宇新教授团队联合福州大学柯逍教授团队在细粒度多模态动作质量评价领域的最新研究成果，相关论文已被 ICML 2026 接收为 Spotlight，并已开源。

• 论文标题：LIMSSR: LLM-Driven Sequence-to-Score Reasoning under Training-Time Incomplete Multimodal Observations
• 论文链接：https://arxiv.org/abs/2605.00434
• 开源代码：https://github.com/XuHuangbiao/LIMSSR
• 实验室网址：https://www.wict.pku.edu.cn/mipl
• 实验室公众号：MIPLatPKU

1. 背景与动机

真实世界中的多模态数据往往并不完整。在动作质量评价任务中，视频、光流、音频等模态能够从不同角度描述动作执行过程，但在实际采集时，传感器故障、环境噪声、隐私限制等因素都会导致模态缺失。如图 1 所示，现有不完整多模态方法虽然能够在测试阶段处理缺失模态，但大多默认训练阶段拥有完整模态数据，再利用重建、蒸馏或联合先验来弥补缺失信息。

图 1. 背景与动机

这类方法本质上依赖一种 “全量数据先验”：训练时先看过完整答案，测试时再学习如何应对不完整输入。然而在真实应用中，训练数据本身也可能存在系统性缺失。这样一来，模型既无法获得高质量的重建监督，也无法依赖完整模态提供的先验知识。对于动作质量评价任务而言，这个问题尤其突出，因为该任务不仅要理解长时序动作过程，还要对动作完成质量进行细粒度打分，任何关键模态的缺失都可能直接影响最终评价。

针对上述问题，北京大学彭宇新教授团队联合福州大学柯逍教授团队提出了面向训练阶段不完整观测的新框架 LIMSSR。该方法不再依赖完整模态监督，而是将不完整多模态动作质量评价重构为一种条件化的序列到分数推理问题，借助大语言模型的条件推理能力，从已有上下文中推断缺失模态的潜在语义，再完成跨模态融合与最终评价预测。

2. 技术方案

图 2. 大语言模型驱动的序列到分数推理方法（LIMSSR）框架图

如图 2 所示，LIMSSR 将不完整多模态动作质量评价建模为一个从 “部分观测 + 缺失掩码” 到 “质量分数” 的条件序列推理过程。

从整体形式上看，LIMSSR 学习如下映射关系：

阶段 I：提示引导的上下文感知模态补全（PCMI）。本文并没有像传统方法那样将缺失模态简单置零，而是显式告诉模型 “哪里缺失、缺的是什么、该如何推断”。对于每种模态，作者设计了起止边界词元（token）；对于可观测模态，输入真实时序特征；对于缺失模态，则插入专门的缺失词元作为占位。于是，观测模态与缺失模态被统一组织为包含结构信息的输入序列：

这一步的本质，不是恢复原始 “真值”，而是恢复对评价有帮助的潜在语义。

这样一来，不同词元可以分别关注动作完成度、时序稳定性、节奏一致性等不同维度，增强表示能力。

阶段 III：掩码感知的双路径聚合（MDA）。仅依赖大语言模型推理虽然能获得高层语义，但在严重缺失场景中可能产生不确定性甚至 “幻觉”；而若只依赖底层统计特征，又容易损失任务相关语义。为此，本文进一步设计了两条协同路径，将 “语义推理路径” 和 “统计恢复路径” 结合起来。

这一过程用于根据缺失模式动态调节大语言模型语义推理结果的可信度。

第二条路径则回溯各模态隐藏状态，建模跨模态统计关系：

上述公式表明，LIMSSR 并不是单纯依赖大语言模型 “猜出答案”，而是在语义推理与跨模态统计之间进行动态平衡，从而提升整体鲁棒性。

总体而言，LIMSSR 的技术路线可以概括为：用提示词显式描述缺失状态，用大语言模型推断缺失语义，用融合词元（token）汇聚多维信息，再用掩码感知双路径机制控制推理可信度与统计稳健性。

3. 实验结果

表 1. 大语言模型驱动的序列到分数推理框架（LIMSSR）在不完整模态场景下的结果

表 1 展示了 LIMSSR 在三个公开基准 FS1000、Fis-V 和 RG 上的不完整模态实验结果。评估指标包括斯皮尔曼相关系数与均方误差，其中相关系数越高越好，误差越低越好。实验覆盖六种不完整模态组合和完整模态组合，并与来自不完整多模态情感识别、不完整多模态动作识别以及不完整 / 完整多模态动作质量评价领域的多种先进方法进行比较。结果表明，LIMSSR 在训练阶段存在模态缺失的严格设定下，依然取得了最优或极具竞争力的结果。这说明 LIMSSR 不仅能更准确地区分动作质量高低，也能在具体分数预测上保持更高精度。

表 2. 大语言模型驱动的序列到分数推理框架（LIMSSR）在完整模态场景下的结果

更值得注意的是，表 2 显示 LIMSSR 虽然是为 “训练阶段不完整观测” 设计的方法，但在完整模态场景下同样表现出很强竞争力。这表明 LIMSSR 并不是通过牺牲完整场景性能来换取缺失场景鲁棒性，而是学到了一种更通用、更稳定的多模态语义建模能力。

图 3. 缺失模态潜在语义相似度分析

为了验证 LIMSSR 是否真的学会了 “推断缺失模态语义”，本文比较了模型推断表示与真实模态表示之间的相似性。图 3 表明，推断表示与目标真实模态的相似度高于与其他模态的相似度，说明 LIMSSR 并不是生成一个模糊的 “平均语义”，而是能够恢复有针对性的潜在信息。

图 4. FS1000 上的 t-SNE 可视化图

本文进一步给出了特征空间的 t-SNE 可视化结果。图 4 显示，经过 LIMSSR 推理后，缺失模态生成的潜在表示能够更紧密地对齐到已有模态附近，明显减小了跨模态语义鸿沟。这说明模型不仅 “补了信息”，而且实现了更有效的跨模态语义对齐。

4. 结论

针对训练阶段不完整观测这一更真实、更具挑战性的多模态学习问题，本文提出了大语言模型驱动的序列到分数推理框架 LIMSSR。该方法不依赖完整模态训练监督，而是通过提示引导的上下文感知模态补全、大语言模型驱动的多维表示融合以及掩码感知的双路径聚合，在已有模态上下文中恢复缺失模态的潜在语义，并进一步实现稳健评价预测，展现了大语言模型在不完整多模态学习中的重要潜力。