ACL 2025 | 以知识回路视角揭秘大语言模型的新知识习得机理

本研究系统追踪了大规模语言模型在持续预训练阶段知识回路的动态演化，由宏观表现到微观拓扑与组件逐层解析，揭示出若干关键规律。我们认为，大语言模型并非不可解释的黑箱，而是由海量知识回路构成的精密系统；深入理解这些回路的演化机制，或为构建更可控、更高效且更安全的人工智能奠定理论与技术基础。

论文题目： How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training 论文链接： https://arxiv.org/abs/2502.11196v2 代码链接： https://github.com/zjunlp/DynamicKnowledgeCircuits

当今大语言模型正进化得越来越聪明，展现出强大的“百科全书”能力，但你是否好奇它们是如何习得这些知识的？特别是当世界不断变化，新知识层出不穷，模型如何“更新”自己的认知？究竟是“死记硬背”还是会在内部重新组织结构？

为了探索这些问题，本文从“知识回路”的视角切入，通过追踪分析模型内部的计算子图的动态演化，系统揭示了大语言模型在持续预训练期间如何结构性地整合、存储和优化新知识。

二、核心方法

本文首先构建了一个可控的合成知识数据集，由虚构人物及其出生地、大学、公司等信息构成，覆盖高、中、低频率知识，并确保这些知识在模型的预训练阶段不存在，属于新知识的范畴，并同时涵盖相关新知识和全新知识两种类型。随后对decoder-only 架构的 GPT-2、TinyLLaMA、Phi-1.5 等系列模型在合成构建的新知识语料库上进行了持续预训练。

传统的分析手段往往将大语言模型中的知识视为分散的“知识神经元”或“记忆块”，而本文从新颖的“知识回路”视角来进行研究。什么是知识回路？它是模型内部一个稀疏的计算子图，由模型完整计算图中少部分关键节点和边组成，专门负责存储和处理某一类特定知识。本文使用现有的回路发现方法EAP-IG，为模型中的每一条边分配一个重要性分数，通过保留分数绝对值最高的若干（约7%～15%）边来识别回路。通过在持续预训练期间不同的训练检查点上运行 EAP-IG 方法可以识别不同阶段的知识回路，进一步可以分析它们的演化规律。本文的分析将由表及里从三个层面展开：

• 性能表现：知识回路独立重现模型行为的表现如何变化？

• 拓扑结构：知识回路的拓扑结构如何变化？

• 功能组件：组成知识回路的结点与边如何变化？

通过分析知识回路在持续预训练期间的性能变化，本文发现模型对于新知识的习得遵从知识相关性原则（Knowledge Relevance Principle），即模型更容易学习与已有知识相关的新知识（如已知实体新的属性），而对完全陌生的知识更难吸收，表明说大语言模型更擅长在已有认知框架内进行扩展。更擅长在已有认知框架内进行扩展。

知识回路拓扑分析

在知识回路的拓扑结构层面，本文首先检查每个中间检查点上的知识回路与最终回路之间的相似度，通过回路中的边构成的集合的交集除以并集所得的比例来衡量。实验发现，在所有的模型上，回路的相似度都呈现出一个稳定的上升趋势，表明随着知识习得的进行，知识回路与最终回路越来越相似，检查点之间不存在很大幅度的调整。

根据观察到的趋势，本文进一步提出了假设：在模型的知识习得过程中，知识回路会逐步获取特定的知识，回路会越来越高效和精确，其中一小部分关键节点和边缘会变得越来越重要，影响也越来越大。为了验证这一假设，本文借鉴信息论设计了回路熵指标，并探索知识回路演化过程中的熵变化。实验发现，在持续预训练期间，知识回路的熵呈现稳定下降趋势，表明知识回路的拓扑结构变得越来越集中，特定边的重要性在不断增加。

同时实验还发现，回路相似度的上升趋势和回路熵的下降趋势在训练达到某一步之后明显放缓，本文将这一有趣现象总结为知识回路的双阶段演化（Biphasic Circuit Evolution），即知识回路的演化先经历形成阶段，快速锁定基础结构，关键边和节点逐渐凸显，回路结构变化大；再进入优化阶段，结构趋于稳定，在已有结构上不断提升表现，性能继续增长直至收敛。

知识回路组件分析

在知识回路的组件层级，本文主要关注回路中的关键结点即注意力头的行为变化。实验发现，位于知识回路的中到深层的注意力头先学会从模型参数中提取特定的知识，而位于知识回路较浅层的注意力头在训练期间持续丰富特定知识的表征。

四、总结

本文通过对大语言模型在持续预训练过程中的知识回路的动态变化进行追踪，由表及里地对知识回路的表现、拓扑和组件进行了全面分析，揭示了几个关键发现。我们相信大语言模型并非黑盒，而是由无数知识回路组成的精密系统，理解这些回路的演化规律，也许是迈向更可控、更高效、更安全人工智能的关键步骤。

作者：欧翌昕 来源：知识引擎实验室-ZJU

llustration From IconScout By IconScout Store

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

michellechang@thejiangmen.com

或添加工作人员微信（michelle333_）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈