小模型读书大模型思考：上海AI Lab提出新知识推理解耦方法DRIFT

本文主要完成单位为上海人工智能实验室，主要作者谢文轩、谭鑫、陆超超、胡侠等，通讯作者为实验室青年研究员汪旭鸿。

当长上下文成为负担：我们是否真的需要「把一切都塞进推理模型」？

当前，随着大家对大模型推理能力要求的提升，输入上下文也在不断变长，1M tokens 及以上的上下文窗口正逐渐成为现实，但「读得更长」一定会带来推理提升吗？

在现实应用中，情况往往并不理想。当推理模型直接处理超长原始文本时，瓶颈往往不再来自「不会推理」，而是来自读不完、读不动、读不准：

• 推理模型需要处理大量与任务无关的冗余信息；
• 计算成本与延迟随 token 数快速上升；
• 关键信息容易被淹没在长文本中；
• 原始长文本中可能藏匿恶意内容，增加模型安全风险。

这也引出了一个更本质的问题：知识获取（reading）与逻辑推理（reasoning），是否真的必须由同一个模型完成？

复杂推理或许需要大模型，但从海量信息中获取知识未必如此。

为解决这一问题，来自上海人工智能实验室与复旦大学的研究团队提出了 DRIFT：一种将知识获取推理明确解耦的长上下文推理框架。

DRIFT 采用双模型架构：轻量知识模型负责读取超长文档，并将与当前任务强相关的关键信息压缩成高密度隐空间表示；推理模型直接利用这些表示进行推理，无需处理庞杂原文。

实验结果表明：DRIFT 显著提升推理效率，并在高压缩比设置下仍保持甚至提升任务性能，展示了 reading–reasoning 解耦的实际价值。

更有意思的是，即使没有任何安全训练，由于推理模型不再直接接触原始文本，该结构在多种安全基准上表现出更强的鲁棒性。

• 论文链接：https://arxiv.org/abs/2602.10021
• 开源主页：https://github.com/Lancelot-Xie/DRIFT

现有方法：压缩、检索与记忆，问题出在「谁来读」「怎么读」

为应对超长上下文带来的计算和推理压力，现有工作从三个方向入手：压缩输入、引入检索，或参数化存储知识。

压缩的方法有两类，一类方法通过硬压缩直接删除「低重要性」token ，但依赖局部、静态的重要性估计，容易误删关键信息；另一类工作采用软压缩，将文本映射为 latent 表示，但本质仍是静态压缩，压缩结果与任务无关，容易保留冗余信息而忽视有用信息。

此外，一些方法依赖 RAG 从外部语料中检索相关内容，但整体效果受限于检索器性能，对检索策略较为敏感。也有工作通过参数化记忆模块存储知识，推理效率较高，但通常依赖预训练，难以支持即时注入的超长新知识。

此外，DeepSeek 的 Engram 通过条件化参数记忆，将可复用的知识模式从 Transformer 主干中分离出来，在架构层面实现了知识存储与推理计算的解耦，从而提升效率与性能。不过，Engram 的记忆主要面向静态长期知识，更适合对已知信息的高效调用；对于即时注入的新知识，其适配性仍然有限。

本文核心贡献：

• 提出 reading–reasoning 解耦的结构性视角：将知识获取与逻辑推理显式分离，打破推理模型必须直接处理原始上下文的传统范式；
• 重构知识输入模态：由小模型从超长文档中抽取与任务相关的高密度知识表示，不再以冗余的原始文本作为推理模型输入；
• 构建并验证高效的双模型框架：在多个长上下文推理基准上表明，该架构在显著压缩上下文规模的同时，仍能保持甚至提升复杂推理性能，并大幅降低推理延迟。

DRIFT 的核心：将 reading 与 reasoning 明确解耦

DRIFT 的核心思想并不是「如何压得更狠」，而是重新定义知识进入推理模型的方式：推理模型不再直接处理冗长的自然语言文本，而是接收一种由小模型从原文中提炼出的、为推理而设计的高密度知识表示。这种表示可以被视为独立于文本形式的「知识输入模态」。

基于这一视角，DRIFT 关注的不是改进文本处理流程，而是回答一个更根本的问题：读取知识与执行推理，是否本就应由不同模块承担？

在 DRIFT 中，小模型负责「读文档」并抽取与当前问题相关的关键信息，将其转化为紧凑的内部知识表示；推理模型则直接以这一模态作为输入，而无需再重新阅读和解析原始文本。

基于这种思想，DRIFT 的架构如图所示：

DRIFT 整体框架图

Knowledge Model（小模型）

• 处理超长文档输入；
• 并行读取文本块并提取 query-relevant 信息，压缩为隐空间知识表示。

Reasoning Model（大模型）

• 不再接触原始长文本；
• 仅基于隐空间中的高密度事实表示执行推理。

Implicit Fact Tokens：一种中间知识表示

Implicit Fact Tokens 并不是：

• 句子级摘要
• 检索得到的文本片段

而是一种：

• 基于问题生成的隐空间表示
• 高信息密度的知识表示
• 专门为推理设计的输入模态

三阶段训练：教模型「怎么读，也怎么想」

DRIFT 采用三阶段训练策略：

• LFRP：重建任务，让知识模型学会压缩信息；
• QAFT-DC：动态压缩任务，让知识模型学会基于 query 压缩相关信息；
• QAFT-QA：QA 任务，让推理模型学会基于 latent facts 推理。

实验结果：压得更狠，反而想得更清楚

在 LongBench-v2、LoCoMo、BAMBOO、L-Eval 等基准上进行了测试，涵盖长文本问答、多文档摘要、多轮对话长程记忆等等场景，模型采用了知识模型 3B 和推理模型 7B 的组合：

• 32× 压缩：性能整体接近甚至超过 Full-context；
• 64× / 128×：稳定优于 ICAE / COCOM /xRAG 等压缩方法；
• 推理延迟：在各上下文长度下保持最低或接近最低。

种种实验说明：当阅读和推理被清晰拆分后，模型反而能更高效地工作。

推理能力并未被削弱：通用语言理解依然在线

一个自然的问题是：脱离原文阅读后，推理模型是否会失去通用能力？

实验表明并非如此，训练后的推理模型仍能处理复杂推理、知识问答、代码生成和指令遵循等通用任务。

解耦架构带来的安全收益

实验还发现，在Flames、SaladBench、AutoDAN、PAIR等安全基准上，DRIFT 的安全鲁棒性也显著优于原始模型。

更有意思的是，这一提升并未经过任何安全相关的训练。研究者认为这可能源于 DRIFT 的结构：推理模型不再直接暴露于攻击 prompt，而是基于中间知识表示进行推理，从而天然降低了越狱攻击或安全诱导的影响。

知识解耦的典型应用 —— 蛋白质理解任务

DRIFT 提供的是一种结构性视角：让小模型「读」，让大模型「想」。

与其让推理模型承担所有职责，不如让它专注于最擅长的推理能力。这一思路在AGI for Science中同样成立。以蛋白质任务为例，我们的另一项工作「BioBridge: Bridging Proteins and Language for Enhanced Biological Reasoning with LLMs」中提出了类似的问题：是否有必要让 LLM 直接理解蛋白质序列？

BioBridge 的答案与 DRIFT 一致：由专门模型负责「读懂蛋白」，LLM 专注「推理」。

具体来说，就是使用蛋白语言模型（PLM）解析序列并生成 LLM 可理解的中间表示，再由 LLM 基于此进行任务相关的推理。

这种reading–reasoning解耦 使 BioBridge 同时保持：

• 接近 SOTA 蛋白质模型 的专业能力
• 原有 LLM 的通用能力

总结

从 DRIFT 到 BioBridge，团队看到的是同一条清晰的技术主线：让推理模型直接「读」原始知识输入往往并不是最优选择；更有效的做法，是先将领域知识提炼为适合推理的表示，再交由推理模型进行推理。

这种结构性的解耦，不仅提高了效率，还可能带来额外的安全收益。