约翰内斯·开普勒大学找到了让AI"用更少记忆思考得同样好"的方法

这项由奥地利约翰内斯·开普勒大学与NXAI公司联合开展的研究，于2026年7月6日以预印本形式发布，论文编号为arXiv:2607.05061。有兴趣深入了解技术细节的读者可以通过该编号查询完整论文。

当你和一位朋友聊了很久之后，你的大脑并不会把每一句话都原封不动地存在脑子里。它会悄悄地做一件事：把不重要的话过滤掉，只把那些真正影响后续理解的关键信息留下来。你能做到这一点，是因为你的大脑天生就擅长判断"哪些话值得记住，哪些话可以忘掉"。

然而，当今最先进的人工智能语言模型，却没有这种能力。它们的工作方式更像是一个强迫症患者——必须把读过的每一个字、每一个词都完整地存在一个巨大的"便条本"里，才能保证之后回答问题时不遗漏任何信息。这个"便条本"在专业上被称为KV缓存，而它的问题在于：文章越长，便条本越大，最终大到机器的内存根本装不下，速度也慢得令人难以接受。

这个研究团队想解决的，正是这个让AI工程师头疼已久的问题：能不能教会AI像人类一样，提前预判哪些记忆是未来有用的，然后主动把没用的"便条"扔掉，同时又保证回答质量几乎不打折扣？他们给出了一个名叫KVpop的解决方案，实验结果表明，在把便条本压缩掉88%的情况下，AI的数学推理能力依然保留了原来的97%到100%。

一、为什么AI的"便条本"会成为大麻烦

以烹饪作为贯穿全文的理解框架，整件事会更容易理清。把AI生成文字的过程比作一位厨师在厨房里按食谱一步步烹饪。每次厨师要决定下一个动作时，他需要回忆之前做过的每一个步骤，于是他把所有步骤都写在小纸条上，贴满了整张桌子。菜谱越长，纸条越多，桌子越来越小，最后连锅都放不下了。

这就是当前AI在处理长文本时的处境。每生成一个新词，模型都需要回顾此前所有词的"键值对"信息，也就是那张贴满纸条的桌子。这张桌子的大小和文本长度成正比，数学上叫做"线性增长"。当文本长达几万字甚至十几万字时，这张桌子会占满机器大量的显存，同时也会让每一步生成都变得越来越慢。

现有的一些解决方案相当于告诉厨师"只保留最近几张纸条"，但这样一来，厨师可能会忘记两小时前放入的某种香料，导致最后的菜口味全错。也有人尝试根据某张纸条"看起来重要与否"来决定扔不扔，但问题是，厨师在做第三步时觉得不重要的东西，到了第二十步可能突然变得至关重要。凭当下的感觉判断未来的价值，这种做法本质上是在猜测，不够可靠。

KVpop团队意识到，真正的突破口在于：与其猜测哪张纸条"现在看起来有用"，不如训练AI学会预判哪张纸条"未来会被用到"。这是一个根本性的思路转变，从被动评估转向主动预测。

二、KVpop是如何训练AI"预判未来"的

回到厨房的比喻。KVpop做的事，相当于给厨师专门开了一堂培训课。在这堂课里，老师（也就是一个"全记忆"的参照AI）会亲自演示，在整道菜做完之后，回过头来标记出哪些纸条在后续步骤中被真正用到了、被用到了多少次。这个标记结果被称为"未来注意力目标"，是一种客观衡量"这张纸条对后续有多大价值"的指标。

学员厨师（也就是经过压缩训练的AI）的任务，就是在做每一步之前，根据纸条上的内容预测它将来会不会被用到，并且对这张纸条打一个分数。最终，得分高的纸条被保留，得分低的被丢弃，桌子始终保持在一个固定大小以内，这个大小称为"固定预算"。

具体来说，KVpop为每个注意力头（可以理解为厨师的不同感官——视觉、嗅觉、味觉分别负责不同方面的信息）设计了一个轻量级打分模块。这个打分模块不参与主菜谱的烹饪，它只是悄悄地旁观并打分。桌子上永远有三类纸条不会被丢掉：最开始写下的几张"基础纸条"（称为沉没词元，负责锁定上下文的基本框架），最近写下的一摞"新鲜纸条"（受保护的滑动窗口，因为刚写完的东西十有八九马上就会用到），以及打分最高的那一批"历史重要纸条"（长程top-k预算）。除此之外的所有旧纸条，都会被清扫出桌面。

这个设计让整张桌子的大小变成了一个固定的数字：基础纸条数量，加上窗口大小，再加上高分保留的历史纸条数。无论文本有多长，桌子的大小始终如一，内存消耗因此变得可以预测和控制。

三、计算"未来价值"这件事有多难，以及如何巧妙绕开

现在遇到一个现实问题：要知道哪张纸条"未来会被用到多少"，理论上需要先把整道菜做完，再回头统计。但训练的时候，这道菜本身就是一道很长的文章，如果要把所有词对所有词之间的注意力关系全部算出来，那会产生一张极其庞大的矩阵，大到显存根本放不下。

研究团队用了一个非常聪明的技巧来绕开这个问题，他们把这个技巧称为"转置注意力"。可以这样理解：正常情况下，厨师是站在"当前步骤"这个位置，向前看之前所有的纸条，问"哪张纸条对我现在有帮助"。而转置注意力做的是把这个方向颠倒过来，让每一张纸条反过来问"未来有哪些步骤会用到我"。两个问题本质上用到的数学运算是一样的，只是输入和输出的角色互换了一下。

更妙的是，AI在正常做推理的过程中，已经会自动计算一个叫做"归一化因子"的中间数值。这个数值就像厨师在脑子里记住的"当前步骤一共参考了多少张纸条"。研究团队发现，可以直接复用这个已经算好的数值来完成转置方向的计算，根本不需要额外跑一个完整的注意力计算过程。这样一来，整个"未来价值"的估算几乎是免费的——在训练时稍微多做一步计算，在实际使用时完全不产生任何额外负担。

四、两种打分模块：简单的和聪明的

打分模块的设计，KVpop提供了两种选择，就像厨房里可以用普通菜刀，也可以用电动切菜机，各有适用场景。

第一种叫做"无状态打分器"，用的是一个简单的两层神经网络。它的工作方式非常直接：拿起一张纸条，看看上面写了什么，然后打个分。这种打分器又快又便宜，缺点是它只能看纸条本身的内容，不知道这张纸条写下之后又发生了什么。

第二种叫做"有状态打分器"，使用了一种叫做mLSTM的记忆结构（这是一种具备"工作记忆"的网络单元，灵感来自人类大脑处理序列信息的方式）。这种打分器的厉害之处在于，它不急于在纸条刚写下来的时候就打分。它会先把纸条放在受保护的新鲜纸条区里"缓一缓"，同时继续观察后续发展，等到这张纸条即将离开受保护区、面临"留还是扔"的判决时，打分器才综合了此后积累的所有上下文信息，做出一个更加知情的决定。

这个设计的关键点在于：打分器不是在纸条刚写下时就被迫给出判断，而是等到掌握了更多线索之后才发表意见。就好像一个厦门侦探不会在案发第一分钟就认定嫌疑人，而是等收集完现场所有证据再下结论。实验证明，这种延迟打分的策略确实有效，相比立即打分的版本，它在词语预测准确率上高出了0.2个百分点——听起来不多，但在如此大规模的模型上，这是一个相当显著的提升。

更重要的是，这种做法与此前已有的类似方法（如DMS，一种同样使用保护窗口的方法）有本质区别。DMS虽然也有保护窗口，但它在纸条进入窗口的那一刻就已经做出了去留决定，只是把"执行驱逐"这个动作推迟了而已。KVpop的延迟打分则是真正地推迟了"做决定"这个行为本身，让决策可以利用此后积累的信息，这是独一无二的做法。

五、训练策略：只盯着最关键的那一道选择题

KVpop的训练方式也非常有针对性。与其让打分器对所有纸条都进行精确排序，研究团队的思路是：只关注那道"刚刚好踩在去留边界上"的选择题。

每当一张纸条从受保护区里走出来，面临第一次去留判决时，当前高分纸条里排名最末的那张纸条（相当于"最后一个保住席位的选手"）就会被拿出来作为参照。评判标准只有一个：新出来的这张纸条，打分应该比"末位选手"高（代表应该保留），还是低（代表应该被淘汰）？

损失函数（可以理解为对打分器打出错误答案时的惩罚力度）只针对这一对比较打分，而不是对所有纸条全部进行精确排序。这样做的好处是极为高效：每次训练只需要看两张纸条的对比，不需要处理整个长列表，计算代价极低，但训练信号又非常精准，因为它直接对应了真实推理时"这张纸条究竟能不能挤进名额"这个实际决策。

六、实验结果：压缩88%还能保住几乎所有能力

研究团队在两个不同规模的大模型上测试了KVpop的效果，分别是参数量约40亿的Qwen3-4B和约80亿的Qwen3-8B。测试用的是数学竞赛题，包括AIME（美国数学邀请赛，公认为极具挑战性的高中数学竞赛）以及HMMT（哈佛-麻省理工数学锦标赛）的题目，用以衡量模型在高难度数学推理上的表现。

压缩幅度分为两档：75%压缩（桌面上只保留原来四分之一的纸条）和88%压缩（只保留原来八分之一）。

在75%压缩下，KVpop在Qwen3-4B上保留了完整模型98%的得分，在Qwen3-8B上也达到100%。换句话说，把桌面缩小到原来四分之一，模型的数学推理能力几乎完全没有受损。对照组中，最简单的传统方法StreamingLLM只保住了76%，另一个常用方法TOVA仅保住了73%，而近年来颇受关注的学习型方法DMS保住了96%。

在更激进的88%压缩下，两个对照方法StreamingLLM和TOVA直接崩溃，得分下滑到只剩19%到58%，已经不具备实用价值。StreamingLLM的训练版（StreamingLLM+）回血到74%，DMS达到84%到89%。KVpop则在Qwen3-4B上保住了97%，在Qwen3-8B上惊人地保住了100%——在只剩八分之一记忆容量的情况下，80亿参数的模型与完整模型得分持平。

研究团队还检验了一个重要问题：这套策略只是在数学题上管用，还是真的学到了通用的"哪些信息值得记住"的判断能力？为此，他们把仅在数学推理数据上训练好的KVpop，直接拿去测试科学推理（GPQA Diamond，一个研究生级别的综合科学问答测试）和代码生成（LiveCodeBench）。结果显示，KVpop在这两个完全不同领域的任务上，同样与完整模型保持了几乎相同的表现。这说明打分器学到的并不是"数学专用技能"，而是一套更普遍适用的"未来注意力预判"能力。

七、速度和内存：KVpop在实际使用中的表现

除了准确率，研究团队还测量了实际运行时的速度和内存占用，让纸面上的数字落地为工程上的实际收益。

测试在单张显卡上进行，生成长度从1.6万字一直拉到13万字。完整模型的显存占用随文本变长而线性攀升，从16万字时的18GB一路涨到13万字时的36GB，几乎翻了一倍，而且速度越来越慢。KVpop和对照方法DMS的显存占用都只增长了19%左右，到13万字时仍然停留在约19GB，因为桌面大小恒定，不随文本变长。

在速度上，KVpop比DMS更快。原因在于，KVpop对每一个注意力头都强制执行相同的固定预算，导致每个头保留的纸条数量完全一样，GPU在并行处理时效率极高。而DMS采用的是动态门控机制，每个头保留的数量各不相同，就像厨房里不同厨师的桌子大小参差不齐，统一管理起来格外麻烦，反而拖慢了整体节奏。

八、AI学到了什么样的"遗忘规律"

研究团队还对KVpop的决策行为做了一次有趣的"解剖"，看看它到底学到了什么样的信息筛选模式。

他们从数学推理序列中随机抽取了一段，可视化出每个注意力头在每一层网络中保留了哪些词。结果显示出一种非常有规律的模式：纯粹的数字（比如"154000"、"37"之类的计算中间结果）被抛弃的频率明显更高，而那些具有推理结构意义的词——比如表示因果关系的"Thus"（因此）、表示操作的"divides"（整除）、表示等价的等号"="——则被更多注意力头跨更多层网络保留了下来。

这个规律非常符合直觉：一道数学题做完第五步之后，第三步计算出来的具体数字可能已经失去独立价值，但当时用来推进推理的逻辑词汇，往往对后续步骤依然具有参考意义。KVpop自主发现了这一规律，而没有人明确告诉它"逻辑词比数字重要"。

此外，研究团队还测量了KVpop的打分器与"全知老师"的一致程度：在75%压缩设置下，打分器保留的高分纸条有81%与老师认为应该保留的纸条重合。这个数字意味着，打分器做出的去留决定，有超过八成与理想答案吻合，说明这套预测机制确实学到了有效的判断标准，而非随机行为。

九、与其他方法的本质区别在哪里

把KVpop和同类方法放在一起比较，会发现它的独特之处在两个层面上同时成立。

与纯启发式方法（如StreamingLLM或TOVA）相比，KVpop的优势在于它通过训练适应了"压缩推理"这件事本身。传统方法只是机械地执行一个固定规则，在规则恰好失效的场景下毫无应对能力。KVpop则通过在数学推理数据上的微调，让整个模型习惯了"只看部分纸条思考"这件事，填补了信息缺失带来的模型能力落差。

与另一个学习型方法DMS相比，KVpop的优势在于监督信号更直接。DMS的训练方式是通过一种称为Gumbel-sigmoid的技巧，让去留决定在训练时可以近似求导，但这个训练信号并不直接对应"未来会不会被用到"这件事。KVpop则用真实的未来注意力质量作为监督信号，打分器学到的目标与实际推理时纸条的真实价值直接挂钩。这个差异在88%的极端压缩设置下体现得最为明显，DMS的得分下滑幅度明显大于KVpop。

说到底，KVpop做的事情可以用一句话概括：它教会了AI在读完一段话之后，不是把所有字都死记硬背，而是学会了和人类一样，只记住那些将来真的会用到的内容。

这项研究的价值，不只是让某几道数学题的得分好看一些。它指向的是一个更宏观的方向：随着AI模型被要求处理的文本越来越长（小说、法律文书、长篇代码、科学论文……），如何在有限的硬件资源下维持推理质量，将成为决定AI能不能真正普及落地的关键瓶颈之一。KVpop提供的这套"预测性遗忘"框架，或许会成为解决这个瓶颈的重要工具之一。

研究团队也坦诚地指出了当前的局限：mLSTM打分器虽然效果好，但它毕竟是一种特定的架构，还有其他记忆结构值得探索。此外，每个注意力头都强制使用相同的固定预算，虽然带来了执行效率，但如果允许不同层、不同头使用不同的预算，或许能进一步提升性价比。这些都是未来值得继续深挖的方向。

对这套方法的完整细节感兴趣的读者，可以通过论文编号arXiv:2607.05061查询全文，相关训练好的模型也已经在模型社区公开发布，代号为Qwen3-8B-KVpop-4x，供研究者自行下载和测试。

Q&A

Q1：KV缓存是什么，为什么它会拖慢AI的速度？

A：KV缓存是AI语言模型在生成文字时用来存储历史信息的"便条本"，让模型无需重新计算就能回顾之前所有的词。问题在于，便条本的大小和文本长度成正比，文章越长，占用的显存越多，每一步生成也越慢，最终成为限制AI处理长文本的核心瓶颈。

Q2：KVpop和DMS这两种方法有什么区别？

A：两者都是通过训练来决定哪些历史信息可以丢弃，但核心监督信号不同。DMS用一种数学近似技巧来训练去留决策，而KVpop直接用"这段信息在未来被注意力实际用到了多少"作为训练目标，监督信号更贴近真实使用场景，在高压缩率下效果更优。

Q3：KVpop在数学数据上训练，能用到代码生成等其他任务吗？

A：可以。研究团队测试了仅在数学推理数据上训练的KVpop在科学问答和代码生成任务上的表现，结果显示与未压缩的完整模型保持了几乎相同的准确率，说明KVpop学到了通用的信息筛选能力，而非仅适用于数学场景的专项技能。