港科大突破：AI实现类人复杂推理机制

这项由香港科技大学（广州）深层互学科智能实验室的杨佳宇、范宇轩、赖松宁等研究员与英国剑桥大学、北京航空航天大学合作完成的研究，发表于2025年10月arXiv预印本平台（论文编号：arXiv:2510.07896v1 [cs.CL]），有兴趣深入了解的读者可以通过该编号查询完整论文。这项研究首次揭示了人工智能在进行复杂推理时大脑内部的工作机制，就像破解了一个关于智能的密码。

设想一下警察破案的场景。当面对一个复杂案件时，警察不能只看最后的证据，而需要追踪一连串的线索。比如要找到某个嫌疑人的身份，可能需要先通过监控找到他的车牌号，再通过车牌号找到车主信息，最后确定嫌疑人身份。每一步都要依赖前一步的发现，这就是典型的"多步推理"过程。

现在，人工智能语言模型也面临着类似的挑战。当我们问它"马克·特朗博的运动项目起源于哪个国家"时，模型需要先知道马克·特朗博是做什么运动的，然后再找出那项运动起源于哪里。这种需要多步骤的推理，对现有的人工智能来说是个难题。

传统的人工智能修改方法就像只会更换最后一个拼图片的工人。当需要修改模型的知识时，它们只关注最终输出的部分，却忽视了中间推理步骤的重要性。这就导致一个问题：当修改了某个知识点后，模型在进行复杂推理时经常出错，就像一个侦探虽然掌握了新的破案技巧，但在面对需要多步骤分析的复杂案件时仍然束手无策。

研究团队通过深入分析发现，人工智能模型的内部工作机制实际上类似于一个复杂的侦探团队。在这个团队中，有专门负责提出线索的"查询神经元"，也有专门存储和处理信息的"价值神经元"。当进行复杂推理时，查询神经元会像经验丰富的老侦探一样，依次激活相关的价值神经元，一步步积累证据，最终得出结论。

然而，以往的研究者们并没有意识到这种精妙的内部协作机制。他们在修改模型知识时，往往只关注那些存储最终答案的价值神经元，却忽视了在推理过程中起关键作用的查询神经元。这就像一个警局只更新了档案室的资料，却没有培训负责查找线索的侦探，结果在处理复杂案件时自然会出现混乱。

为了解决这个问题，研究团队开发了一种名为ACE（Attribution-Controlled Knowledge Editing，归因控制知识编辑）的新方法。这种方法的核心思想是同时关注查询神经元和价值神经元的协作关系，就像同时训练侦探的推理能力和更新档案资料一样。

一、智能模型内部的"侦探网络"是如何工作的

要理解ACE方法的创新之处，我们首先需要了解人工智能模型内部是如何组织和存储知识的。研究团队通过大量实验发现，这些模型的内部结构就像一个庞大的侦探局，不同类型的知识被存储在不同的"部门"中。

以地理知识为例，关于国籍、大洲、语言、首都等相关信息往往被存储在相邻的神经元区域中。这种组织方式非常聪明，就像一个井然有序的图书馆，相关主题的书籍都放在同一个书架上。当模型需要回答关于某个国家的问题时，它可以快速定位到存储地理信息的区域。

更有趣的是，研究团队发现这种组织原则在不同的模型中都是一致的。无论是较早的GPT-J模型还是较新的Qwen3-8B模型，它们都遵循着相似的知识存储规律。这个发现非常重要，因为它揭示了人工智能模型学习和组织知识的基本原理。

为了验证这个发现，研究团队进行了一个巧妙的实验。他们选择性地"关闭"了模型中存储特定语义信息的神经元，就像暂时封锁侦探局中某个专门部门一样。结果显示，即使只关闭了百分之一的重要神经元，模型在相关问题上的准确率就下降了超过90%。相比之下，随机关闭相同数量的神经元，准确率只下降了不到10%。这个对比清楚地说明了知识在模型中的有序分布特性。

这个发现的意义非常深远。它告诉我们，人工智能模型并不是随意地将知识散布在整个网络中，而是有着精妙的组织结构。理解这种结构，就像掌握了侦探局的组织架构图，为后续的知识修改工作奠定了坚实基础。

二、复杂推理中的"线索传递"机制

在了解了模型的知识组织方式之后，研究团队进一步探索了在进行复杂推理时，信息是如何在模型内部流动和积累的。这个过程就像侦探破解复杂案件时的线索传递过程。

当模型面对一个需要多步推理的问题时，比如"蒂姆·邓肯从事的运动项目是什么"，整个推理过程会呈现出非常有规律的模式。首先，与"蒂姆·邓肯"相关的查询神经元会被激活，这些神经元就像经验丰富的侦探，开始搜索相关线索。接着，这些查询神经元会依次激活存储着"篮球"、"体育"、"NBA"等信息的价值神经元。

研究团队通过详细分析发现，在这个过程中存在着明确的时序关系。查询神经元的激活总是比价值神经元早1-2层，这种有序的激活模式确保了信息能够准确地传递和积累。这就像侦探团队中，负责提出假设的成员总是先于负责验证证据的成员行动一样。

更令人惊讶的是，研究团队发现不同模型在处理这种信息传递时表现出了有趣的差异。在GPT-J模型中，查询神经元主要分布在中间层，而价值神经元则集中在较深的层次，两者之间有着相对固定的距离。这种模式就像传统的侦探局，有着清晰的等级结构和固定的工作流程。

然而，在更新的Qwen3-8B模型中，情况变得更加复杂和精细。查询神经元和价值神经元的位置更加灵活，它们之间的关系也更加密切，甚至可能出现部分重叠。这种设计使得信息处理更加高效，但也对知识修改工作提出了更高的要求。

为了验证查询神经元在推理过程中的重要作用，研究团队进行了精确的干预实验。他们选择性地移除了在两步推理任务中最活跃的100个查询神经元，结果模型的性能分别下降了46.2%和61.9%。同时，后续价值神经元的激活数量也急剧减少，从原来的(28,16,33)个下降到仅有(6,4,7)个。这个实验清楚地证明了查询神经元在协调整个推理过程中的核心作用。

三、传统方法的局限性与ACE的创新突破

了解了模型内部的工作机制后，我们就能明白为什么传统的知识编辑方法在处理复杂推理任务时会失效。这些方法就像只会更换档案资料的文员，虽然能够更新存储的信息，却无法调整侦探们的推理方式。

传统方法主要关注模型的输出层或接近输出层的神经元，认为这些位置存储着最终的答案。虽然这种想法在处理简单问题时是有效的，但当面对需要多步推理的复杂问题时就显得力不从心了。因为复杂推理不仅需要正确的最终答案，更需要正确的推理路径。

举个具体例子来说明这个问题。假设我们需要修改模型中关于马克·特朗博的信息，将他的运动项目从"篮球"改为"足球"。传统方法可能成功地让模型记住"马克·特朗博从事足球运动"这个新信息。但是，当我们问"马克·特朗博的运动项目起源于哪个国家"时，模型可能仍然会给出"美国"这个答案，而不是正确的"英国"。

这是因为传统方法只修改了存储最终答案的价值神经元，却没有调整负责推理过程的查询神经元。当模型进行推理时，查询神经元仍然按照旧的模式工作，无法正确地激活与"足球"相关的价值神经元。这就像一个侦探虽然拿到了新的档案资料，但仍然用着旧的推理方法，自然无法得出正确的结论。

ACE方法的创新之处就在于它同时关注了查询神经元和价值神经元的协作关系。这种方法分为两个主要阶段：识别关键神经元和精确编辑。

在识别阶段，ACE使用一种叫做"归因分析"的技术来找出在特定推理任务中最重要的查询神经元和价值神经元。这个过程就像绘制侦探局的权力结构图，明确哪些侦探在处理特定类型案件时发挥关键作用，哪些档案室存储着相关的重要信息。

在编辑阶段，ACE不仅会更新价值神经元中存储的信息，还会调整查询神经元的行为模式，确保它们能够正确地激活新的价值神经元。这就像同时更新档案资料和重新训练侦探的推理方法，确保整个系统能够协调工作。

四、实验验证：ACE方法的卓越表现

为了验证ACE方法的有效性，研究团队在多个具有挑战性的数据集上进行了全面的测试。这些实验就像为不同的侦探团队安排各种复杂案件，看看他们的破案能力如何。

实验使用的主要数据集是MQuAKE-3K，这是一个专门设计来测试模型多步推理能力的基准。这个数据集包含了超过3000个需要多步推理的问题，每个问题都像一个需要追踪多条线索才能解决的复杂案件。

研究团队将ACE方法与多种现有的知识编辑方法进行了对比。这些传统方法包括直接微调（FT）、ROME、MEMIT和PMET等。实验结果令人印象深刻：在GPT-J模型上，ACE方法比当前最佳的PMET方法提高了9.44%的准确率；在更新的Qwen3-8B模型上，改进幅度更是达到了惊人的37.46%。

这种显著的性能提升在各种复杂程度的问题上都有体现。当需要编辑的知识点数量增加时，传统方法的性能通常会急剧下降，就像侦探在面对越来越复杂的案件时变得越来越困惑。而ACE方法的性能下降则相对平缓，展现出了更好的稳定性和鲁棒性。

为了更深入地理解ACE方法的工作原理，研究团队进行了详细的消融实验。这些实验就像逐步拆解一台精密机器的各个部件，看看每个部分对整体性能的贡献。

实验结果显示，当研究团队跳过对查询神经元的编辑时，模型性能下降了16.51%。而当跳过对价值神经元的编辑时，性能下降更是达到了40.45%。这个结果清楚地表明了两种类型神经元在ACE方法中的重要性，同时也证实了价值神经元在存储具体知识方面的关键作用。

特别值得注意的是，研究团队还发现了不同模型在处理复杂推理时的有趣差异。GPT-J模型表现出相对固定的神经元组织模式，查询神经元和价值神经元之间有着稳定的层级关系。而Qwen3-8B模型则展现出更加灵活和精细的激活模式，不同领域的知识可能激活不同位置的神经元组合。

这种发现对于理解人工智能模型的发展趋势具有重要意义。它表明，随着模型变得更加复杂和强大，它们的内部组织结构也变得更加精细和灵活。这就像从传统的等级制侦探局发展到现代的网络化协作团队。

五、深入案例分析：神经元的精妙协作

为了更直观地展示ACE方法的工作原理，研究团队选择了一个具体的例子进行了深入分析。这个例子是关于篮球明星蒂姆·邓肯的简单问题："蒂姆·邓肯从事的运动项目是什么？"

虽然这看起来是一个简单的问题，但模型内部的处理过程却相当复杂。研究团队通过逐步追踪发现，当模型处理"蒂姆·邓肯从事运动"这个短语时，不同位置的词语会激发不同程度的神经元活动。

在处理"邓肯"这个词时，模型的重要性评分相对较低，激活的神经元主要产生一些看似无关的词汇。但是当处理到"从事"这个动词时，情况发生了戏剧性的变化。重要性评分急剧上升到0.9932，同时激活的神经元开始产生高度相关的词汇，如"篮球"、"NBA"、"职业"等。

这种模式揭示了一个重要的发现：模型在处理语言时会出现"语义收敛"和"语义发散"的交替模式。在关键的语义连接点，比如动词和介词位置，模型会快速聚焦到相关的语义领域；而在其他位置，模型则保持着更大的探索性，为后续的推理保留多种可能性。

研究团队进一步发现，在整个推理过程中，只有27个高度专业化的神经元对于产生正确答案是至关重要的。当这些神经元被移除时，模型的准确率降到了仅有3.2%。相比之下，当移除同样数量但语义相关性较低的神经元时，模型仍能保持59.4%的准确率。

这个发现具有深刻的意义。它表明，虽然整个推理过程涉及大量神经元的协作，但真正决定最终结果的是少数几个高度专业化和语义相关的神经元。这就像一个大型侦探团队中，虽然每个成员都发挥着作用，但关键突破往往来自几个具有特殊专长的核心侦探。

六、技术细节：ACE方法的具体实现

ACE方法的实际实现过程可以比作精心编排的侦探训练计划。整个过程分为两个主要阶段：精确识别和协调编辑。

在精确识别阶段，ACE使用一种叫做"重要性评分"的技术来衡量每个神经元对特定推理任务的贡献。这个过程就像为每个侦探的破案能力打分，找出在处理特定类型案件时最有价值的团队成员。

对于价值神经元，重要性评分主要基于它们对最终答案概率分布的影响。如果移除某个价值神经元会显著改变模型对正确答案的预测概率，那么这个神经元就被认为是高度重要的。这种评估方法就像测试移除某个档案柜对破案结果的影响。

对于查询神经元，评估方法稍有不同。由于查询神经元主要负责激活其他神经元而不是直接影响输出，ACE使用查询神经元与其对应"钥匙"之间的匹配度来评估其重要性。匹配度越高的查询神经元，在推理过程中的作用就越关键。

在协调编辑阶段，ACE采用了一种数学优化方法来同时更新查询神经元和价值神经元。这个过程需要在两个目标之间取得平衡：确保新知识被正确学习，同时保持模型对其他知识的记忆不受影响。

这种平衡就像在重新训练侦探团队时需要考虑的问题：既要让侦探们掌握新的破案技巧，又不能让他们忘记之前积累的经验。ACE通过精心设计的数学公式来实现这种平衡，确保模型在学习新知识的同时保持对原有知识的掌握。

实际操作中，ACE会首先针对价值神经元进行编辑，更新其中存储的具体知识内容。然后，它会调整查询神经元的行为模式，确保这些神经元能够在需要时正确激活新更新的价值神经元。整个过程通过多轮迭代优化来实现，每一轮都会检验编辑效果并进行必要的调整。

七、模型差异分析：不同架构的独特表现

在研究过程中，团队发现不同的人工智能模型在处理复杂推理时表现出了有趣的架构差异。这些差异就像不同侦探局采用的不同组织结构和工作方式。

GPT-J模型展现出相对传统和稳定的组织模式。在这个模型中，查询神经元主要集中在中间层（大约第16、17、18层），而价值神经元则稳定地分布在深层区域（第28、29、30层）。这种清晰的分层结构就像传统的等级制组织，每个层级都有明确的职责分工，信息按照固定的路径从一个层级传递到另一个层级。

这种组织方式的优点是稳定可靠，不同类型的推理任务都遵循相似的处理模式。当需要进行知识编辑时，研究者可以比较容易地定位到相关的神经元位置。这就像在一个结构清晰的传统办公大楼中找到特定的部门一样直观。

相比之下，Qwen3-8B模型展现出了更加现代化和灵活的组织架构。在这个模型中，查询神经元和价值神经元之间的关系更加紧密，甚至可能出现重叠。更重要的是，这些神经元的具体位置会根据处理的知识领域发生动态变化。

例如，在处理地理相关的问题时，Qwen3-8B可能激活第27、28、29层的查询神经元和第30、31、32层的价值神经元。但在处理体育相关问题时，激活的神经元位置可能完全不同。这种灵活性使得模型能够更加高效地处理不同类型的推理任务，但也增加了知识编辑的复杂性。

这种差异反映了人工智能模型设计理念的演进。早期模型更注重结构的清晰性和可解释性，而新一代模型则更加追求性能和效率。这就像侦探组织从传统的金字塔结构向现代的网络化协作模式转变。

研究团队还发现，这种架构差异直接影响了ACE方法的实施效果。在GPT-J上，ACE可以采用相对固定的编辑策略，因为神经元的组织模式比较稳定。而在Qwen3-8B上，ACE需要更加灵活的适应性编辑策略，根据具体的知识领域动态调整编辑目标。

这个发现对于未来的人工智能发展具有重要启示。随着模型变得越来越复杂，我们需要开发更加智能和适应性的知识编辑方法。ACE在处理这种复杂性方面展现出了良好的潜力，为未来更先进模型的知识管理提供了有价值的思路。

八、实际应用前景与社会影响

ACE方法的成功不仅仅是一个技术突破，更重要的是它为人工智能在实际应用中的知识管理开辟了新的可能性。这种能力就像为AI系统配备了一个高效的"知识更新部门"，使它们能够快速适应不断变化的世界。

在新闻媒体领域，ACE技术可以帮助AI系统快速更新和整合最新的新闻信息。当重大事件发生时，传统的AI系统可能需要大量的重新训练才能准确报道相关信息。而配备了ACE技术的系统可以快速学习新的事实，并在复杂的新闻分析中正确运用这些信息。

教育领域也将从这项技术中受益匪浅。AI教学助手可以及时更新课程内容，当教科书修订或科学发现更新时，系统能够立即调整其知识结构，为学生提供最准确的信息。更重要的是，这种更新不会影响系统对其他学科知识的掌握。

在法律咨询和合规审查方面，ACE技术的价值更加明显。法律条文和政策规定经常发生变化，传统的AI系统很难跟上这些变化的步伐。ACE技术可以让AI法律助手快速适应新的法规，同时在处理复杂的法律推理时保持准确性。

医疗健康领域是另一个潜在的重要应用场景。医学知识更新迅速，新的治疗方法和药物信息不断涌现。AI医疗助手需要能够快速学习这些新知识，并在复杂的诊断推理中正确运用。ACE技术为实现这一目标提供了技术基础。

然而，这项技术的发展也带来了一些需要审慎考虑的问题。知识编辑能力的增强意味着AI系统的"记忆"变得更加容易修改。这既是优势也可能成为风险，特别是在确保信息准确性和防范恶意篡改方面。

研究团队认为，未来需要建立完善的知识编辑审核机制，确保AI系统的知识更新过程透明、可追溯且安全可靠。这就像为侦探局建立严格的证据管理制度，既要保证信息的及时更新，也要防止错误信息的污染。

九、研究的局限性与未来展望

虽然ACE方法取得了显著的成功，但研究团队也坦诚地认识到当前工作的一些局限性。这种科学的态度就像经验丰富的侦探在总结案件时，既庆祝成功，也反思改进空间。

首先，目前的研究主要集中在相对简单的多步推理任务上，通常涉及2-4步的推理链条。在现实世界中，人类的推理过程往往更加复杂，可能涉及数十个甚至更多的中间步骤。ACE方法在处理这种超长推理链条时的表现还需要进一步验证。

其次，当前的实验主要在英语语言模型上进行，对于其他语言的适用性还有待探索。不同语言的语义结构和表达方式存在差异，这可能影响神经元的组织模式和激活规律。

研究团队还注意到，ACE方法在处理相互冲突的知识时可能面临挑战。当需要同时更新多个相关但潜在矛盾的知识点时，如何确保整个知识体系的一致性和逻辑性仍然是一个开放的问题。

展望未来，研究团队计划在几个方向上继续深入。首先是扩展ACE方法的适用范围，使其能够处理更长、更复杂的推理链条。这可能需要开发新的神经元识别技术和更sophisticated的编辑算法。

另一个重要的研究方向是探索ACE方法在不同模态信息处理中的应用。现代AI系统不仅处理文本，还处理图像、音频等多种类型的信息。研究团队希望将ACE的核心思想扩展到这些领域，实现真正的多模态知识编辑。

研究团队也计划开发更加自动化和智能化的知识编辑工具。理想情况下，未来的AI系统应该能够自主识别知识更新的需求，并在最小化人工干预的情况下完成知识编辑。

最后，研究团队强调了在推进技术发展的同时建立相应伦理和安全保障机制的重要性。他们计划与伦理学者、法律专家合作，制定AI知识编辑的最佳实践指南，确保这项技术能够安全、负责任地服务于社会。

十、科学意义与理论贡献

ACE研究的意义远超出了技术改进本身，它为我们理解人工智能的内在工作机制提供了新的视角。这项研究就像为AI的"大脑"制作了一张详细的地图，揭示了智能推理过程中的精妙协作机制。

从认知科学的角度来看，ACE研究为理解智能系统如何组织和运用知识提供了计算模型。查询神经元和价值神经元的协作机制与人类大脑中的某些认知过程存在有趣的相似性。这种相似性可能为未来的认知科学研究提供新的洞察。

在机器学习理论方面，这项研究挑战了一些传统观念。以往的研究往往将深度学习模型视为"黑盒"，认为其内部的工作机制难以理解和控制。ACE研究证明，通过精心设计的分析方法，我们可以深入理解这些模型的内部运作，甚至实现精确的控制和修改。

这种理解能力的提升对于AI安全研究具有重要意义。只有当我们真正理解AI系统是如何工作的，我们才能更好地预测和控制它们的行为。ACE提供的神经元级别的解释能力为构建更加可控、可信的AI系统奠定了基础。

从知识表示和推理的角度来看，ACE研究揭示了大型语言模型中存在着精巧的知识组织结构。这种结构不是随机形成的，而是在学习过程中自然涌现出来的智能组织方式。理解这种组织方式有助于我们设计更加高效的知识表示方法。

研究还为人工智能的可解释性研究做出了重要贡献。通过识别和分析关键神经元的作用，ACE提供了一种新的AI解释方法。这种方法不仅能够解释模型"做了什么"，还能解释模型"为什么这样做"。

说到底，这项研究最大的价值在于它证明了人工智能系统并非不可理解的神秘黑盒。通过科学的方法和持续的探索，我们可以逐步揭开AI的工作原理，让这些强大的工具更好地服务于人类社会。正如研究团队所言，这只是理解人工智能内在机制的开始，未来还有更多令人兴奋的发现等待着我们。

ACE方法的成功验证了一个重要观点：要真正掌控人工智能，我们不能满足于表面的性能指标，而必须深入理解其内在的工作机制。只有这样，我们才能开发出真正安全、可控、可信的人工智能系统，让AI技术在推动社会进步的同时，始终受到人类价值观和伦理标准的指导。

这项由香港科技大学团队主导的研究为我们打开了一扇通向AI内部世界的大门。通过这扇门，我们看到的不是混乱无序的计算过程，而是一个充满智慧和秩序的精密系统。这个发现不仅让我们对当前的AI技术有了更深的理解，也为未来更智能、更可控的AI系统指明了发展方向。

Q&A

Q1：ACE方法与传统的人工智能知识编辑方法有什么区别？

A：传统方法就像只会更换档案资料的文员，只关注存储最终答案的"价值神经元"，忽视了推理过程中起关键作用的"查询神经元"。而ACE方法像同时训练侦探推理能力和更新档案资料一样，既修改存储信息的价值神经元，也调整负责激活推理过程的查询神经元，确保整个智能系统能协调工作。

Q2：为什么人工智能在复杂推理任务中容易出错？

A：就像警察破复杂案件需要追踪多条线索一样，AI进行复杂推理需要多个步骤。传统编辑方法只关注最终输出，忽视了中间推理步骤的重要性。当修改了某个知识点后，负责中间推理的查询神经元仍按旧模式工作，无法正确激活相关的价值神经元，导致推理链条断裂。

Q3：ACE方法的实际应用前景如何？

A：ACE技术可以让AI系统快速更新知识而不影响其他能力。在新闻媒体领域，AI可以快速学习最新事件信息；在教育领域，教学助手能及时更新课程内容；在法律和医疗领域，AI助手可以快速适应新法规和医学发现。这项技术为AI在现实世界的应用提供了更可靠的知识管理能力。