同证异答：多模态大模型顺序敏感性审查

Same Evidence, Different Answer:

Auditing Order Sensitivity in Multimodal Large Language Models

同证异答：多模态大模型顺序敏感性审查

https://arxiv.org/pdf/2606.26079

摘要

多模态大语言模型（MLLM）的标准基准测试仅基于一种规范顺序对每个项目进行评分，并忽略了与顺序无关的打乱是否会改变答案，而这是新兴的人工智能评估指南所呼吁的一项基线可靠性属性。我们引入了FACET-PROBE，这是对18个前沿和开放权重MLLM进行的五面审计（包括选项、证据块、文档排序、图像集和混合模态顺序）。贝叶斯项目反应模型将顺序噪声与各面偏差分离开来；同序控制估计了观察到的翻转的解码器随机下限。发现。我们审计的18个MLLM均非顺序不变：经过筛选的各面面板平均翻转率介于24%至50%之间。在温度为0的Gemini同序控制中，估计在已验证的单元中存在显著超出同输入解码器噪声下限的顺序超额。模型能力可以预测翻转但不能消除翻转；表现最好的模型在13.4%的试验中仍然发生了翻转。启示。在我们的Gemini缓解测试中，免训练的提示词更改是依赖于模态的，并且无法从文本推理迁移到视觉推理。这些结果表明，仅靠提示词层面的缓解不太可能提供通用的顺序鲁棒性，这促使未来开展关于训练阶段和架构层面的方法的研究。我们提出将跨顺序翻转率作为MLLM的标准报告轴。代码与审计产物：https://github.com/yahskapar/facet-probe

1 引言

多模态大语言模型（MLLM）的标准基准测试仅基于单一的规范顺序对每个项目进行评分，并隐含地将语义上等效的排列视为可互换的（Wang等人，2024b；Zuo等人，2025；Jiang等人，2024）。在部署的系统中，输入顺序是由检索管道（Lewis等人，2020；Abootorabi等人，2025；Yao等人，2025）、智能体工具调度器（Shinn等人，2023；Faghih等人，2025；Mei等人，2025）或面向临床和消费者的接口（Haberle等人，2024；Tierney等人，2024；Hurt等人，2025；Paruchuri等人，2025）设定的，而不是由最终用户设定的。如果模型的答案在这些排列下发生变化，那么规范基准测试的准确率就会高估多模态检索增强生成（RAG）、智能体工具使用以及临床或其他高风险环境中的可靠性，而在这些环境中，用户合理地期望相同的证据能产生相同的答案。多模态大语言模型并非顺序不变的。相同的查询在三种语义上等效的输入顺序下会产生三个不同的答案（图1）。这种行为并不局限于小型或较旧的模型，也不是任何单一基准测试的测量假象。新兴的人工智能评估指南要求基准测试在输入扰动下明确“限定”顺序无关性假设（Salaudeen等人，2025；Bean等人，2026；Keller等人，2026），但目前广泛使用的评估中没有一个针对多模态顺序这样做。先前的工作触及了这一问题，但并未彻底解决。Tan等人（2024）在5到8个2025年之前的多模态模型上，测量了单一顺序面上的多模态位置偏差。Promptception（Ismithdeen等人，2025）表征了10个多模态模型对提示模板的敏感性，但没有研究正交的顺序面或2026年的前沿一代模型。M3IRT（Uebayashi等人，2026）将项目反应理论应用于多模态评估，是沿着跨模态捷径轴，而不是顺序噪声轴。Kostiuk和Enevoldsen（2026）确立了纯文本和纯嵌入评估中的排序不稳定性，但没有研究多模态顺序，也没有估计超出同输入解码器随机翻转的顺序超额。关于纯文本语言模型中选项顺序和对话轮次敏感性的基础性工作（Pezeshkpour和Hruschka，2024；Laban等人，2023；Chen等人，2024b）提出了我们将之扩展到多模态前沿的问题。先前的工作没有运行同序控制来估计超出同输入解码器噪声下限的顺序超额；如果没有这种分解，已发布的翻转率数字是模糊的。因此，本文提出以下问题：

本文介绍了FACET-PROBE。FACET-PROBE是对18个多模态大语言模型（6个前沿闭源模型：Gemini-Pro 3.1、Gemini-Flash 3、Claude Opus 4.7、Claude Sonnet 4.6、ChatGPT 5.5、ChatGPT 5.4-mini；12个开放权重模型：Qwen3.5、InternVL3.5、Kimi-VL以及MedGemma系列）在12个数据集和超过40万次试验中进行的五面审计，并结合了ODI（顺序分解项目反应理论），这是一种2PL贝叶斯项目反应分解方法，可将逐项顺序噪声σπ与逐面系统性偏差|δ|分离开来。模型能力可以预测翻转但无法消除翻转（斯皮尔曼ρ ≈ −0.95）；表现最佳的模型在13.4%的试验中仍会发生翻转。在我们的Gemini缓解测试中，免训练的提示更改是依赖于模态的，且无法从文本推理迁移到视觉推理。

我们的贡献如下：

• 第4.1节：FACET-PROBE，对12个数据集上的18个多模态大语言模型进行的五面顺序审计，并使用ODI（2PL贝叶斯IRT）进行分解。同序对照组估计了在温度为0的已验证Gemini单元中，显著超出同输入解码器噪声下限的顺序超额；经过筛选的图像集声明锚定于MEDFRAMEQA，而非位置参考的MANTIS-EVAL项目。

• 第4.2节：模型能力可以预测翻转但无法消除翻转（全面板ρ ≈ −0.95；最佳模型在13.4%的试验中仍发生翻转）；表述的置信度对顺序风险的低估幅度达9至62个百分点；机制分析发现内容合理化是一种常见的失败模式，其中原始的图像集机制行被视为探索性的，因为它是在MANTIS-EVAL位置参考筛选之前采样的。

• 第4.3节：免训练的提示级缓解措施是依赖于模态的且不可组合；我们报告了一个成本-帕累托前沿。

我们计划发布完整的评估代码及相关产物，以供研究社区进一步使用。

2 相关工作

FACET-PROBE在五个维度上不同于先前的工作：输入面（选项、证据块、文档排序、图像集、混合模态）、模型代际（前沿和开放权重的2026年MLLM）、测量目标（跨顺序不稳定性）、通过同序对照进行分解，以及缓解措施评估。分解维度是核心：先前的工作都没有在2026年多模态前沿估计超出同输入解码器随机翻转的顺序超额。

语言模型中的顺序敏感性。语言模型对许多语义上无关的输入扰动很敏感：少样本演示顺序（Lu等人，2022）、提示格式（Sclar等人，2024；Mizrahi等人，2024）、多选题选项顺序（Pezeshkpour和Hruschka，2024；Zheng等人，2024）、长上下文中的位置（Liu等人，2024a）、两轮挑战（Laban等人，2023）、推理前提顺序（Chen等人，2024b）、嵌入提示不稳定性（Kostiuk和Enevoldsen，2026），以及纯解码器Transformer中逆排列学习的理论不可能性（Alur等人，2025）。多模态工作记录了单面位置偏差（Tan等人，2024）、多图像VLM位置偏差（Tian等人，2025）、10个模型上的提示模板敏感性（Ismithdeen等人，2025），以及多模态RAG中的U型位置偏差（Yao等人，2025）。

多模态评估与基准有效性。多模态基准测试（Yue等人，2024；Wang等人，2024b；Lu等人，2024；Chen等人，2024a；Zuo等人，2025；Jiang等人，2024）在一种规范顺序下对每个项目进行评分。MMBench（Liu等人，2024b）通过CircularEval缓解多选题位置偏差；我们将其推广到五个正交面，并通过ODI分解残差。有效性研究（Bean等人，2026；Salaudeen等人，2025；Reuel等人，2024；Jacovi等人，2023），包括NIST AI 800-2（Keller等人，2026），将基准测试视为必须对其扰动包络加以限定的工具。IRT框架（Uebayashi等人，2026；Polo等人，2024；Romanou等人，2026）针对跨模态捷径或项目难度；ODI通过逐项σπ和逐面|δ|针对顺序方差。

推理时缓解措施。自一致性（Wang等人，2023）是典型的免训练缓解措施，也是我们的基线。排列自一致性（Tang等人，2024）将其扩展到列表级扰动，并在我们的混合模态LLM评判器（第3节）内部运行。位置去偏方法包括PINE（Wang等人，2025b）、注意力校准（Hsieh等人，2024）、多模态因果双向插值（Tian等人，2025），以及交换并投票的LLM-as-judge（Zheng等人，2023）。第4.3节在2026年多模态前沿上，针对跨顺序翻转对这些方法进行了评估。

3 方法

模型。我们审计了在2026年5月4日至5月25日期间提供服务的18个多模态大语言模型。前沿闭源模型（6个）：Gemini Pro 3.1（gemini-3.1-pro-preview）和Gemini-Flash 3（gemini-3-flash-preview）（Pichai等人，2025）；Claude Opus 4.7（claude-opus-4-7）和Claude Sonnet 4.6（claude-sonnet-4-6）（Anthropic，2026）；ChatGPT 5.5（gpt-5-5）和ChatGPT 5.4-mini（gpt-5-4-mini）（Singh等人，2025）。开放权重模型（12个）：Qwen3.5-VL（0.8B、2B、4B、9B、27B）（Qwen团队，2026），InternVL3.5（4B、8B、14B、38B）（Wang等人，2025a），Kimi-VLA3B-Instruct（Team等人，2025），以及MedGemma（4B-IT、27B-IT）（Sellergren等人，2025）。闭源模型推理使用各提供商的API，在允许的情况下将温度设为0（Anthropic和OpenAI的推理API拒绝该参数，故省略）；Gemini的top-p设为1；最大输出token数为8192（Anthropic、OpenAI）或24576（Gemini）；思考预算为8192个token（Anthropic、Gemini）或推理力度中等（OpenAI）。所有模型使用通用的提示词族，并包含针对特定面的答案格式说明（完整提示词和逐模型适配器详情见附录A）；简而言之，提示词指示模型在回答前阅读每一个证据项，封闭式选择提示词要求恰好输出一个选项标签，且前面带有“Answer: ”。开放权重模型在单张A6000 GPU上使用HuggingFace transformers（≥4.57）进行贪心解码，max_new_tokens设为512（默认）或在输出推理轨迹时设为2048。模型以bfloat16精度加载，但InternVL3.5系列（4B/8B/14B/38B）和≥27B的变体（Qwen3.5-VL 27B、MedGemma 27B-IT）除外，它们使用4位bitsandbytes NF4（双重量化，bfloat16计算）并结合FlashAttention-2。 注意事项。思考/推理参数在不同提供商之间具有不同的语义；我们在上文使用了最接近的跨提供商等效设置，并在消融实验中改变了Gemini的预算（第4.3节）。2026年5月4日至25日的访问窗口与每个提供商ID配对，作为可重复性锚点。

数据集与采样。FACET-PROBE涵盖四大任务类别的12个数据集。多选题推理（选项顺序）：MMLU-Pro（Wang等人，2024b）、CommonsenseQA（Talmor等人，2019）和MathVision（Wang等人，2024a）。多跳问答与RAG（证据块顺序和文档排序）：HotpotQA（Yang等人，2018）、MuSiQue（Trivedi等人，2022）、MultiHop-RAG（Tang和Yang，2024）；MedXpertQA（Zuo等人，2025）的检索证据变体也着重考察证据块顺序。多图像VLM（图像集顺序）：Mantis-Eval（Jiang等人，2024）、MedFrameQA（Yu等人，2025b）。自由格式混合模态RAG（混合模态顺序）：MRAMG-Recipe（Yu等人，2025a）、MMDocRAG（Dong等人，2025）、MultiModalQA（Talmor等人，2021）。

在每个数据集中，我们通过种子为42的确定性均匀打乱来采样一个固定的项目子集，然后应用特定于数据集的过滤，仅纳入对目标面具有所需结构支持的项目。每个数据集的N（过滤后）范围在70到200之间，混合模态数据集在3个数据集中总计N=597；完整的过滤列表和每个数据集的N见附录A。我们在每个（面，数据集）单元中为所有18个模型尝试相同的项目集，其中检索到的证据（RAG和多跳）预先计算一次并在各模型间逐字重放；派生分析在模型产生不可用输出时报告解析或丢弃率。我们不过滤至包含黄金证据的项目：HotpotQA和MuSiQue使用其干扰项增强拆分，因此黄金答案可能可以从可见证据中推导出来，也可能不行，这反映了开放检索部署的实际情况。被降级的对话轮次和少样本面及其数据集在第F节中报告。

顺序面。FACET-PROBE审计五个顺序面，每个面由排列单位和评分规则定义。选项顺序对选项内容与显示标签之间的映射进行排列（选项内容本身不变；仅重新排序哪个内容获得哪个字母）。评分通过逆排列将模型预测的字母映射回源选项索引，因此翻转表示所选选项内容的变化，而不是字母的变化；字母上的翻转是没有信息量的，因为黄金字母随排列而移动。每个项目排列的选项数量等于数据集的原生选择数（CSQA固定为5；MMLU-Pro为4-10，中位数为5；MathVision为4-5）。证据块顺序在单一扁平列表上下文中排列证据段落的顺序（HotpotQA、MuSiQue、MedXpertQA检索变体），其中每个单位是一个段落或短段落；每个项目3-6个块。文档排序在RAG提示中排列排序后的检索文档的顺序（MultiHop-RAG、HotpotQA重放），其中每个单位是特定检索排序处的完整文档；每个项目2-6个文档。与证据块顺序的区别在于排列单位：块是作为扁平列表呈现的文档内段落，文档是作为排序列表呈现的完整检索单元。图像集顺序对VLM的多图像输入顺序进行排列（Mantis-Eval 3-6张图像，MedFrameQA 2-5张图像）。我们对图像集分析应用位置参考筛选：问题或答案选项中明确提及图像位置的项目将从干净的图像集摘要中排除（排除52/70个Mantis-Eval项目；排除5/200个MedFrameQA项目）。混合模态顺序在自由格式RAG中对每个项目的整个异构文本和图像组件序列进行排列；结果由LLM评判器（见下文）评分为伯努利黄金匹配标签，与多选题面平行，同时增加了一个独立的测量层。

排列语法。对于每个（项目，面），我们从该面的排列语法中采样K=6个顺序：当n! ≥ 6时，从n个组件的n!个排列中进行无放回的均匀采样；当存在少于六个唯一排列时，我们使用所有唯一排列并根据需要重复以保持六次调用。K=6是通过对MedXpertQA进行K消融实验设定的：K=3能以一半的推理成本恢复大部分（但非全部）K=6可检测到的翻转，因此K=6是我们整个面板的操作点。排列清单在推理前固定并在所有18个模型间重放；计划发布的版本包含这些索引，因此忠实的重新生成不依赖于进程哈希种子。

自由格式输出的 LLM 评判评分。 非 MIXED-MODALITY-ORDER 面使用确定性评分：OPTION-ORDER 和 IMAGE-SET-ORDER 在逆排列下将预测标签映射回源内容，而 EVIDENCE-CHUNK-ORDER 和 DOCUMENT-RANK-ORDER 使用针对黄金简答的精确匹配。MIXED-MODALITY-ORDER 在3个基准中的2个（MRAMG-Recipe, MMDocRAG）上产生段落形式输出；MultiModalQA 的黄金答案是简短事实。对于这三者，我们通过 LLM 评判（Gemini Pro 作为主评判，ChatGPT 5.4-mini 作为跨供应商检查）定义了一个伯努利正确性结果，该评判使用结构化等价提示对个项目输出进行评分。文本翻转（原始复述变体）作为上限一并报告，评判修正将其压缩了 10–90 个百分点，具体取决于模型和基准。完整提示、评判者间 Cohen's κ κ 以及无评判 MMQA 黄金锚点交叉检查见附录 E 和附录 H。MIXED-MODALITY-ORDER 结果作为伯努利黄金匹配标签进入 ODI（下文），而基于评判的测量层需要表2中的注意事项。

4 发现

4.1 跨面顺序敏感性

Q1：跨顺序翻转在18个模型面板中的普遍程度如何？跨顺序翻转在模型和各个面中普遍存在（表1，图2）：各面的面板平均K=6翻转率介于0.24至0.50之间（混合模态顺序为0.50，证据块顺序为0.41，选项顺序为0.36，文档排序为0.26，经筛选的图像集顺序为0.24）；在54个（模型×基准）单元中，混合模态顺序的sem-flip中位数为0.50，而原始的混合模态顺序基准单元则介于0.09至0.89之间。

Q2：有多少超出了同输入解码器噪声下限？在温度为0时，已验证的Gemini单元显示出显著超出同输入解码器噪声下限的顺序超额，但该比例是依赖于底层模型和温度的。在12单元面板的8个已验证单元中（附录D），MMLU-Pro选项顺序（OPTION-ORDER）单元显示出约51–75%的顺序超额占比。在干净的MedFrameQA图像集顺序（IMAGE-SET-ORDER）子集上，同序下限低于跨顺序率（Pro/Flash上为0.03/0.10 vs 0.10/0.14），而MedXpertQA证据块顺序（EVIDENCE-CHUNK-ORDER）显示出类似但较小的超额（0.11/0.15 vs 0.20/0.21）。Mantis-Eval被排除在干净的图像集分解之外，因为大多数项目包含位置参考语言。在T ≥ 0.7时，更广泛的附录扫描显示一致性份额估计器不再是一个稳定的分解目标，而经解码器去噪后的准确率波动仍然具有信息量（附录D）。

Q3：零效应出现在哪里？我们观察到了两个可靠的零效应（消歧查询下的工具描述顺序，以及GSM8K上的少样本数学），详见附录F。

4.2 能力、校准与机制

4.3 缓解措施菜单

5 讨论

18个多模态大语言模型均非顺序不变：经过筛选的各面面板平均K=6翻转率介于24%至50%之间。在温度为0时，同序Gemini对照组估计在已验证单元中存在显著超出解码器噪声的顺序超额，但这种分解是依赖于模型底座和温度的。能力可以预测翻转但不能消除翻转（全面板ρ ≈ −0.95；表现最好的模型仍有13.4%的翻转率）。机制分析表明，内容合理化是分类单元中常见的失败模式；原始的图像集机制行在筛选后的图像集子集上重复验证之前被视为探索性的。CTA将高基线文本单元的翻转率从0.30降低到0.18（绝对下降12个百分点，相对减少40%），而在基线相当的视觉单元上没有观察到测量效果。

将顺序鲁棒性作为报告维度。规范基准测试的准确率未能捕捉到顺序鲁棒性这一维度：尽管关于这种失败模式已有活跃的研究文献（Pezeshkpour和Hruschka，2024；Chen等人，2024b；Laban等人，2023），但我们审计的前沿或开放权重模型卡中没有一个报告跨顺序翻转率。遵循Mitchell等人（2019）关于模型卡披露、Raji等人（2022）关于未记录脆弱性的研究，以及NIST AI 800-2的“限定性声明”原则（Keller等人，2026），我们提出将跨顺序翻转率作为多模态大语言模型的标准报告维度，与准确率并列。同序对照是一种方法论检查：它估计了重复调用的随机性下限，因此报告的翻转率可以相对于同输入不稳定性进行解释。

训练阶段和架构层面的干预是前进的方向。思考预算减少了困难项目上的翻转，但在简单项目上以线性token成本趋于平稳；提示词级缓解措施是依赖于模态的且无法叠加生效。这种权衡表明，相比于推理时计算，应倾向于训练阶段、目标函数或架构层面的干预（Egressy和Stühmer，2026）。一个具体的假设是，预训练或后训练数据混合中固定顺序惯例（如规范选项字母、检索排序或图像槽位）的占比过高；未来的工作应该测试排列增强或对比顺序目标是否能减少这种影响（Alur等人，2025；Egressy和Stühmer，2026）。将输入顺序记录为部署配置参数是一种临时的保障措施。

原文链接：https://arxiv.org/pdf/2606.26079