维尔茨堡大学发现：AI回答同一问题竟会出现惊人的"变脸"现象

这项由维尔茨堡大学WüNLP实验室的Saad Obaid ul Islam和Goran Glavas，以及汉堡大学数据科学组的Anne Lauscher共同完成的研究，发表于2025年10月的arXiv预印本平台（论文编号：arXiv:2510.11218v1）。有兴趣深入了解的读者可以通过该编号查询完整论文。

想象你问朋友"爱因斯坦什么时候出生的？"，他能准确回答"1879年3月14日"。但当你请他写一篇关于爱因斯坦生平的文章时，他却在文中写成了"1880年4月15日"。这听起来很荒谬，但研究团队发现，当今最先进的人工智能语言模型竟然经常出现这种"变脸"现象。

这个发现意义重大，因为我们正越来越依赖这些AI助手来获取信息。从学生写作业到医生查询医学资料，从工程师解决技术问题到普通人搜索日常疑问，AI已经渗透到我们生活的方方面面。如果这些智能助手在回答简单问题时很准确，但在处理复杂任务时却出现错误，那么我们该如何信任它们呢？

研究团队创建了一个名为SLAQ（短长形式回答的事实一致性评估）的全新测试框架，专门用来检验AI模型在处理不同复杂度问题时的一致性表现。他们测试了16个不同的大型语言模型，涵盖了从10亿到120亿参数的各种规模，使用了600个精心设计的问题组合。

更令人惊讶的是，研究团队还深入到AI的"大脑"内部，通过一种叫做"零消融激活补丁"的技术方法，观察AI在处理不同问题时大脑回路的激活模式。他们发现，当AI给出一致答案时，其内部的神经回路活动模式更加相似；而当AI出现"变脸"时，内部回路的激活模式则截然不同。

这项研究首次系统性地揭示了AI在处理不同复杂度问题时的可靠性差异，为改进AI系统的一致性和可信度提供了重要方向。

一、AI的"双面人格"现象

当我们与人工智能助手对话时，通常会假设它们就像一个知识渊博的朋友，无论以什么方式提问，都能给出一致的答案。然而，现实情况远比我们想象的复杂。

研究团队发现了一个令人困惑的现象：同一个AI模型在回答简单直接的问题时表现出色，但当这些相同的问题被嵌入到更复杂的询问中时，准确率却显著下降。这就像一个学生在单独回答"2+2等于几"时能正确说出"4"，但在解决复杂应用题时却莫名其妙地把这个基础运算搞错。

为了系统性地研究这个问题，研究团队设计了一种独特的测试方法。他们将每个测试主题分解为五个相关的事实性问题，然后用两种不同的方式向AI提问。第一种是"短问题"方式，直接单独询问每个问题，比如"第一次布匿战争什么时候发生的？"第二种是"长问题"方式，将所有五个问题整合成一个复杂的综合性询问，要求AI在一个连贯的回答中涵盖所有信息点。

测试结果令人惊讶。研究团队发现，几乎所有被测试的AI模型都表现出了高度的"对齐一致性"——大约73%到78%的情况下，它们对同一个事实问题的回答在短问题和长问题中保持了相同的正确性或错误性。但关键问题是，这种一致性主要体现在错误答案上。换句话说，AI更容易在两种问题格式中都给出错误答案，而不是都给出正确答案。

这种现象揭示了一个深层次的问题：AI模型虽然在内部处理机制上保持了某种一致性，但这种一致性往往倾向于系统性的错误，而非准确的知识提取。这意味着当前的AI评估方法存在重大盲点——简单的事实性问题测试无法预测AI在复杂任务中的表现。

更进一步的分析显示，AI在处理长问题时的准确率普遍低于短问题。这种性能下降主要源于一种"位置依赖性退化"现象：在长答案中，事实的准确性会随着其在答案中的位置而逐渐降低。第一个被回答的事实准确率可以达到51%，但到了第五个事实，准确率就跌落到了30%，下降幅度高达21个百分点。

研究团队还发现了一种"动量效应"，类似于心理学中的"成功滋生成功"现象。当AI连续给出正确答案时，后续答案正确的概率会增加；相反，当出现错误时，错误往往会级联放大，导致后续答案也更容易出错。这种现象表明AI在处理复杂问题时存在某种"认知负荷"限制，就像人类在处理多任务时会出现疲劳和注意力分散一样。

二、深入AI大脑的探索之旅

为了理解这种"变脸"现象背后的原因，研究团队采用了一种革命性的方法——直接观察AI的"大脑"内部活动。这就像给AI做了一次详细的脑部扫描，观察它在回答不同问题时神经网络的激活模式。

现代大型语言模型的结构可以比作一个巨大的信息处理工厂，其中包含数十亿个相互连接的"神经元"（参数）。这些神经元组织成不同的"部门"：注意力层负责关注输入信息的不同部分，多层感知器（MLP）负责处理和变换信息。当AI回答问题时，不同的神经元会以不同的强度被激活，形成独特的"激活模式"。

研究团队使用了一种叫做"零消融"的技术来识别对答案生成最关键的神经元组合。这个过程类似于逐一关闭工厂中的不同机器，观察哪些机器的停工会严重影响最终产品的质量。通过这种方法，他们能够识别出对每个答案最重要的神经元"电路"。

分析结果揭示了一个关键发现：当AI对同一个问题在短问题和长问题中都给出正确答案时，其内部激活的神经元电路表现出显著的相似性。相反，当AI出现"变脸"现象（一种格式正确，另一种格式错误）时，激活的神经元电路则截然不同。

具体来说，研究团队使用了六种不同的指标来衡量电路相似性，包括交集占并集比（IoU）、包含度、以及各种相关性分析。结果显示，一致性答案的电路相似度在所有指标上都显著高于不一致答案。最显著的差异出现在IoU指标上，一致答案的相似度比不一致答案高出16.2%。

更有趣的是，研究团队发现斯皮尔曼等级相关性（一种衡量排序相似性的方法）比皮尔森相关性（衡量数值相似性）更能预测答案的一致性。这意味着，重要的不是神经元激活的精确强度，而是不同神经元的重要性排序。这就像两个厨师制作同一道菜时，关键不在于他们使用调料的精确分量，而在于他们对各种调料重要性的认知顺序是否一致。

为了验证这些发现的实用价值，研究团队训练了一个预测模型，试图仅根据神经元电路的相似性来预测AI是否会对同一问题给出一致的答案。结果表明，这个预测模型的准确率达到了78%，接收者操作特征曲线下面积（ROC-AUC）达到0.85，这是相当高的预测性能。

在所有的预测指标中，注意力层的斯皮尔曼等级相关性表现最佳，成为预测一致性的最强信号。这个发现具有重要的实用意义：通过监控AI的注意力机制，我们可能能够实时预测它什么时候可能给出不一致的答案，从而提前进行干预或警告。

三、揭开AI知识提取的复杂机制

研究团队的发现挑战了我们对AI知识存储和提取机制的传统认知。长期以来，人们倾向于认为AI就像一个巨大的数字图书馆，只要问对了问题，就能可靠地提取出相应的知识。然而，这项研究表明，AI的知识提取过程远比我们想象的更加复杂和不稳定。

通过对四个不同规模的Qwen模型（参数从10亿到40亿不等）进行深入分析，研究团队发现了一个令人深思的模式。当AI需要处理多个相关问题时，它的"认知负荷"会累积增加，就像人类在同时处理多项任务时会感到疲劳一样。这种累积效应解释了为什么AI在长问题中的后期表现会显著下降。

更深层的机制分析揭示，AI在处理不同复杂度问题时实际上启动了不同的"思维路径"。当面对简单的直接问题时，AI可能激活一条相对简单直接的神经网络路径。但当同样的问题嵌入到复杂情境中时，AI可能被迫使用更复杂、更容易出错的处理路径。这就像一个人走熟悉的直线路径和走复杂迷宫的区别——即使目的地相同，走不同路径的出错概率也大不相同。

研究团队特别关注了AI在处理实体类事实（如人名、地名、日期）和非实体类事实（如定义、概念、关系）时的表现差异。他们发现，在3000个测试问题中，有1071个涉及实体类事实，1929个涉及非实体类事实。虽然两类问题都表现出类似的一致性模式，但实体类事实的处理往往更容易受到上下文干扰。

这种发现对于理解AI的局限性具有重要意义。它表明，当前的AI系统并不像我们希望的那样拥有稳定、可靠的知识表示。相反，它们的知识更像是一个动态的、高度依赖上下文的系统，容易受到问题表述方式和复杂程度的影响。

研究还揭示了一个特别值得关注的"雪球效应"。当AI在长答案中犯了第一个错误后，这个错误往往会影响后续信息的处理，导致错误不断放大。这种现象此前在AI的长文档总结任务中也被观察到，但这项研究首次在开放域问答任务中进行了量化分析。具体来说，连续正确答案后的正确率可以从基准的30%提升到57%，而连续错误后的正确率则可能降至24%。

四、测试框架与实验设计的创新

为了系统性地研究AI的一致性问题，研究团队开发了SLAQ测试框架，这是一个专门设计用于评估AI在不同问题复杂度下表现一致性的基准测试系统。这个框架的设计思路颇具创新性，它不仅关注AI回答的正确性，更重要的是关注AI在不同情境下的行为一致性。

SLAQ数据集的构建过程体现了严谨的学术态度。研究团队从维基百科的15个不同类别中精选了600个主题，确保了主题的多样性和代表性。为了测试AI对不同知识流行度的处理能力，他们特意平衡了热门话题和冷门话题的比例，各选择了300个最受欢迎和300个最不受欢迎的页面。这种设计基于先前研究的证据，即事实的流行程度会影响AI的幻觉倾向。

在数据生成过程中，研究团队采用了先进的OpenAI o3-mini-high模型作为合成数据生成器。这个选择经过了仔细考量：虽然完全人工标注的数据集在理想情况下质量更高，但考虑到成本效益，使用高质量的AI助手生成初始数据然后进行人工验证是一个更加现实的方案。事实证明，这个决策是明智的——o3-mini-high在3600个问题答案对中只出现了77个错误，错误率仅为2.14%。

每个测试实例都经过了严格的人工验证，确保问题的开放域表述（即不需要参考原文就能回答）和事实基础的准确性。研究团队手动调整了不符合标准的查询，包括53个违反开放域标准的短问题和24个类似问题的长问题。

评估方法的设计也体现了创新性。研究团队使用Gemini-2.5-Flash作为"AI评委"来判断答案的正确性，这种LLM-as-a-judge的方法在当前的AI评估中越来越普及。为了验证这种评估方法的可靠性，他们进行了人工标注验证，发现AI评委与人工标注员的一致性在短问题答案上达到92%，在长问题答案上达到94.8%，这表明自动化评估的可靠性。

在度量指标的设计上，研究团队创造性地引入了"对齐度"概念，不仅关注答案的绝对正确性，更关注相同事实在不同问题格式中的一致性表现。他们设计了多个互补的指标：短形式准确率（FS）和长形式准确率（FL）用于衡量基础性能，对齐分数用于衡量一致性，而符号对齐分数则进一步区分了"都正确"和"都错误"的对齐情况。

这种多维度的评估体系使得研究团队能够深入分析AI行为的细微差别。例如，他们发现高原始对齐分数主要反映的是系统性失败的一致性，而非系统性成功的一致性。这个发现具有重要的警示意义：表面上的一致性可能掩盖了更深层次的能力不足。

五、跨模型的广泛验证与发现

研究团队对16个不同的大型语言模型进行了全面测试，这些模型涵盖了当前主流的几个模型家族：Qwen-2.5、Qwen-3、Qwen-3-Reasoning、Llama-3、Gemma-2和Gemma-3，参数规模从10亿到120亿不等。这种广泛的模型覆盖确保了研究结论的普适性和可靠性。

测试结果呈现出令人意外的一致性模式。尽管这些模型来自不同的开发团队，使用不同的训练数据和方法，但它们在SLAQ基准测试上的表现却表现出惊人的相似性。几乎所有模型都在短问题和长问题中展现出30%到50%的中等事实准确率，而且绝大多数模型在短问题上的表现都优于长问题。

更有趣的是，模型规模的增大并没有带来预期中的显著性能提升。这个发现挑战了"大就是好"的简单观念，表明仅仅通过增加参数数量可能无法根本解决知识一致性问题。即使是120亿参数的大模型，其表现也只是略好于10亿参数的小模型，这暗示着当前的训练方法可能存在系统性的局限。

在对齐一致性方面，所有模型都表现出了73%到78%的高度一致性，这种跨模型的统一性表明这是现代语言模型的一个内在特性，而非某个特定架构或训练方法的偶然结果。然而，当研究团队深入分析符号对齐分数时，发现了一个令人担忧的趋势：所有模型的符号对齐分数都是负值（从-0.01到-0.51），这意味着它们更倾向于在两种问题格式中都给出错误答案，而非都给出正确答案。

这个发现具有重要的实用意义。它表明当前的AI评估方法存在重大盲点——仅仅测试简单事实问题的准确率无法预测AI在复杂任务中的可靠性。一个在基础问答任务中表现优秀的AI，在处理需要整合多个信息点的复杂任务时可能会出现系统性的错误。

位置效应的分析进一步揭示了AI处理长序列信息时的局限性。无论是哪种模型，都表现出了相同的线性退化模式：准确率随着信息在回答中的位置而稳步下降，每个位置大约损失5%的准确率。这种模式与人类在输入处理中表现出的U型模式（开头和结尾表现好，中间表现差）截然不同，暗示AI和人类在信息处理机制上存在根本差异。

动量效应的量化分析也展现了一致的跨模型模式。所有被测试的模型都表现出了相同的趋势：连续成功会增强后续成功的概率，而连续失败会增加后续失败的风险。这种"富者愈富，贫者愈贫"的现象在AI的知识提取过程中创造了一种马太效应，进一步解释了为什么AI在复杂任务中的表现往往不如在简单任务中稳定。

六、技术创新与方法论突破

这项研究在方法论上的创新不仅体现在问题的发现，更体现在技术手段的突破。研究团队开发了一套完整的AI内部机制分析工具链，为理解大型语言模型的内部工作原理提供了新的视角。

在神经网络电路分析方面，研究团队采用了零消融激活补丁技术，这种方法通过系统性地"关闭"神经网络中的特定组件来观察其对最终输出的影响。这个过程类似于汽车维修师通过逐一断开不同部件来诊断故障原因。通过这种方法，他们能够精确识别出对每个答案生成最关键的神经元集合。

对于多令牌答案的处理，研究团队创新性地引入了地球搬运工距离（Earth Mover's Distance, EMD）来解决令牌边界不一致的问题。这种方法将不同长度、不同表述的答案之间的比较转化为一个最优传输问题，能够找到最佳的令牌对齐方案。这就像在两个不同语言版本的同一篇文章之间找到最佳的句子对应关系。

在相似性度量的设计上，研究团队开发了六种不同的指标来全面评估神经网络电路之间的相似性。包含度指标衡量核心组件的共享程度，交集占并集比提供对称的重叠度量，而皮尔森和斯皮尔曼相关性则分别从数值匹配和排序匹配的角度评估相似性。这种多维度的评估体系确保了分析结果的鲁棒性。

特别值得注意的是，研究团队发现斯皮尔曼等级相关性在预测答案一致性方面表现最佳，这个发现具有深刻的理论意义。它暗示AI的知识一致性更多地依赖于不同处理组件的相对重要性排序，而非绝对激活强度。这就像乐队演奏时，关键不在于每个乐器的绝对音量，而在于它们之间的相对平衡。

在预测模型的构建上，研究团队使用逻辑回归构建了一个基于电路相似性指标的预测器，能够以78%的准确率预测AI是否会对同一问题给出一致答案。这个模型的实用价值在于它可以在AI生成答案之前就预警可能的不一致性，为改进AI系统提供了可操作的指导。

模型特征重要性的分析揭示了注意力机制在保持一致性方面的核心作用。斯皮尔曼注意力相关性以1.36的系数成为最重要的预测因子，远超其他特征。这个发现为改进AI一致性提供了明确的方向：通过优化注意力机制的稳定性，可能能够显著提升AI在不同复杂度任务中的一致性表现。

七、实际应用与未来影响

这项研究的发现远远超出了纯学术价值，它对AI技术的实际应用产生了深远的影响。随着AI系统在教育、医疗、法律咨询等关键领域的广泛部署，确保这些系统在不同情境下的一致性和可靠性变得至关重要。

在教育领域，这项研究揭示了AI辅导系统可能存在的潜在风险。当学生向AI询问简单的概念定义时，AI可能给出正确答案；但当要求AI帮助完成涉及相同概念的复杂作业时，可能出现不一致的信息。这种不一致性可能误导学生，影响学习效果。基于这项研究的发现，教育技术开发者需要重新审视AI系统的设计，确保知识传递的一致性。

医疗咨询是另一个特别敏感的应用场景。研究结果表明，AI可能在回答单一医学问题时表现出色，但在处理复杂病例分析时出现错误。这种不一致性在医疗环境中可能带来严重后果。医疗AI系统的开发者需要根据这些发现，实施更严格的一致性验证机制。

在商业应用方面，许多公司正在将AI集成到客户服务、产品推荐和决策支持系统中。这项研究表明，仅仅基于简单任务的AI性能评估来部署复杂应用可能存在风险。企业需要建立更全面的AI性能评估体系，包括跨任务复杂度的一致性测试。

研究提出的预测框架具有直接的实用价值。通过监控AI内部的注意力模式，系统可以实时识别可能出现不一致答案的情况，并触发人工审核或提供置信度警告。这种预警机制可以显著提升AI系统在实际部署中的可靠性。

对于AI安全和对齐研究领域，这项工作提供了新的评估维度。传统的AI安全研究主要关注AI是否会产生有害内容，而这项研究揭示了一个同样重要但此前被忽视的风险：AI的不一致性可能破坏用户对系统的信任，特别是在关键应用场景中。

研究还为改进AI训练方法提供了具体方向。当前的训练过程主要优化单一任务的性能，但这项研究表明需要增加跨任务一致性的约束。未来的训练算法可能需要包含一致性正则化项，确保模型在不同复杂度的任务中保持稳定的知识表示。

从更广阔的社会影响角度来看，这项研究提醒我们需要重新思考AI透明度和可解释性的重要性。当AI在不同情境下给出不一致答案时，用户需要理解这种不一致性的原因，以便做出合适的信任决策。这为AI可解释性研究提出了新的需求和方向。

研究团队建议的电路级干预方法也开启了AI能力定向改进的新可能。通过识别和调整特定的神经网络电路，可能能够在不影响整体性能的情况下提升AI的一致性。这种精准调节方法比重新训练整个模型更加高效和可控。

展望未来，这项研究为多个研究方向奠定了基础。包括开发更好的一致性评估指标、设计专门优化一致性的训练算法、建立实时一致性监控系统，以及探索人机协作中的一致性保障机制等。这些方向的进展将推动AI技术向更可靠、更值得信赖的方向发展。

说到底，这项研究揭示了AI技术发展中一个重要但此前被忽视的维度。它提醒我们，AI的可靠性不仅取决于它能否给出正确答案，还取决于它能否在不同情境下保持一致。随着AI在我们生活中扮演越来越重要的角色，确保这种一致性将成为构建可信AI系统的关键要求。这项研究为实现这一目标提供了科学基础和实用工具，其影响将在未来数年中持续显现。

Q&A

Q1：什么是SLAQ测试框架？

A：SLAQ是"短长形式回答的事实一致性评估"框架，专门用来检验AI模型在处理不同复杂度问题时的一致性表现。它将同一个事实问题分别以简单直接和复杂综合的形式提问，然后比较AI的答案是否一致。

Q2：为什么AI会在简单问题和复杂问题中给出不一致的答案？

A：研究发现AI在处理不同复杂度问题时实际上启动了不同的"思维路径"和神经网络电路。简单问题激活相对直接的处理路径，而复杂问题需要更复杂、更容易出错的处理机制，导致了不一致现象。

Q3：这项研究对普通用户使用AI有什么实际意义？

A：这项研究提醒我们不能完全信任AI在复杂任务中的表现，即使它在简单问题上很准确。用户在使用AI处理重要信息时，应该通过多种方式验证答案的一致性，特别是在教育、医疗等关键领域。