麻省理工人工智能实验室：这可能是 AGI 的前夜，递归智能让模型第一次学会“主动思考”

　　过去几周，硅谷的空气里弥漫着一种难以言说的紧张感。三家顶级实验室几乎在同一时间向内部团队发出了类似的警告，他们的模型出现了“未经编程的能力”。

　　这些能力不属于训练目标，不属于数据分布，甚至不属于任何人类设计的范畴。有人形容这种现象像是在“空无一人的房子里发现脚印”——你不知道它从哪里来，也不知道它下一步会走向哪里。

　　这种“递归智能”的迹象让整个行业开始重新审视一个被忽略已久的问题，递归能力，正在成为下一代LLM的真正战场。

　　过去一年，大模型的上下文窗口从 32K、128K，一路飙升到 200K、1M，甚至出现了号称“无限上下文”的模型。但窗口变大并不意味着模型真的能理解这些内容。越来越多的证据显示，模型在面对超长输入时会出现一种被称为“上下文腐烂”（context rot）的现象，输入越长，模型越迷糊，越容易忘记前面的信息，越难保持推理链条的稳定性。

　　这不是算力问题，也不是训练规模问题，而是 Transformer 架构本身的结构性限制。注意力机制在百万级 token 面前会迅速稀释，模型的有效注意力范围远小于它的物理窗口。换句话说，你给它一本百万字的书，它最多只能认真读前几章。

　　于是业界开始尝试各种补丁式方案， 有人用长上下文训练硬撑； 有人用压缩、摘要、滑动窗口来“挤”信息； 有人用检索增强（RAG）来“查字典式”访问内容。

　　但这些方法都有一个共同的问题，它们假设模型是被动的。模型只能等着人类把信息整理好、切好、喂好。

　　而真正的智能，不应该是这样的。

　　麻省理工学院的计算机科学与人工智能实验室MIT CSAIL 的 Alex L. Zhang、Tim Kraska 和 Omar Khattab提出了一个颠覆性的想法，为什么不让模型自己去读？自己去查？自己去切片？自己去调用自己？

　　于是，Recursive Language Models（递归语言模型RLM）诞生了。

　　RLM 的核心洞察非常简单，却极具革命性，把上下文从“输入”变成“环境”。

　　模型不再被动接收一长串 token，而是像程序一样，在一个 REPL 环境中把整段上下文当作变量，随时可以查看、切片、搜索、过滤、递归调用自己。 它不再是“被喂信息”，而是“主动探索信息”。

　　这就像从“给你一本书，你读吧” 变成了 “给你一个图书馆，你自己查、自己拆、自己总结、自己调用助手”。

　　这不仅绕开了 Transformer 的上下文限制，更让模型第一次拥有了“程序化访问世界”的能力。

　　麻省理工学院的计算机科学与人工智能实验室 （MIT CSAIL） 是由 MIT 的 AI Lab 与 LCS（计算机科学实验室）在 2003 年合并而成。它是全球计算机科学、人工智能、机器人学、系统与理论研究的核心力量之一。Kraska 是数据库系统与 ML 系统领域的顶尖人物， Khattab 是 RAG、DSPy、ColBERT 等推理系统的核心作者，Zhang 则是系统实现与推理框架的主力研究者。

　　他们把系统工程、检索推理、程序化智能三条线合在一起，造出了一个真正意义上的“递归智能框架”。

　　01研究背景：长上下文任务的真实挑战

　　如果说 RLM 是一种“新范式”，那它要解决的问题其实非常朴素，现代LLM在长上下文任务上表现得远比我们想象的糟糕。

　　当上下文长度从 10K、50K、100K 一路扩展到百万级，模型的性能不是线性下降，而是断崖式崩塌。研究中引用了 GPT‑5 的实验结果，在百万级上下文下，模型几乎无法维持任何有效推理，甚至连简单的needle-in-a-haystack 都会出现错误。

　　图1:GPT-5和相应的RLM在三个复杂度不断增加的长上下文任务上的比较：S-NIAH、OOLONG和OOLONG对。对于每个任务，我们将输入长度从2.13缩放到2.18。GPT-5的性能随着输入长度和任务复杂度的增加而显著下降，而RLM则保持了很强的性能。超出红色区域的输入不适合GPT-5的272K令牌上下文窗口，但RLM有效地处理了它们。

　　更糟糕的是，任务复杂度与上下文长度之间存在双重耦合。 不是所有任务都一样，有些任务对上下文的依赖是指数级的。

　　研究团队将任务分成三类。

　　第一类是常数复杂度任务，比如 S‑NIAH。 无论上下文多长，你只需要找到一个 needle。 模型只要能扫描到关键片段，任务就能完成。

　　第二类是线性复杂度任务，比如 OOLONG。 每一行都可能影响最终答案，信息密度高，模型必须“读完整本书”。

　　第三类是二次复杂度任务，比如 OOLONG‑Pairs。 不仅要读完整本书，还要对每一对条目进行组合推理。 信息量呈平方级增长，模型几乎必然崩溃。

　　这些任务共同揭示了一个残酷事实，模型不是不能处理长上下文，而是不能结构化地访问长上下文。

　　Transformer 的注意力机制本质上是一种“全局广播式”机制，它没有指针、没有索引、没有随机访问能力。 面对百万级 token，它就像一个只能从头读到尾的读者，既不能跳页，也不能查目录，更不能做笔记。

　　这就是为什么“更大的窗口”不是答案。 你可以把窗口扩到 10M，但模型依然无法有效利用它。

　　真正的突破必须来自一种新的思维方式， 让模型像程序一样访问上下文，而不是像读者一样被动阅读。

　　这正是 RLM 的起点。

　　02递归语言模型方法论

　　RLM到底是怎么做到的？

　　为什么它能让 GPT‑5 在百万级上下文里依然保持清醒？为什么它能让 Qwen3‑Coder 在 OOLONG-Pairs 这种信息密度爆炸的任务里不至于直接昏厥？为什么它能把“长上下文”这个行业公认的死结，拆成一个个可控的小问题？

　　答案藏在一个看似朴素、但极具颠覆性的范式里，LLM × REPL ×递归。

　　RLM的基本范式，LLM × REPL ×递归

　　传统 LLM 的工作方式很简单，你把一大串 token 塞进去，它在一次前向推理里给你一个答案。 但当上下文长度突破几十万、几百万时，这种方式就像让一个人一次性读完《战争与和平》再回答问题——不崩溃才怪。

　　RLM 的做法完全不同。

　　它把整个长上下文加载进一个 Python REPL 环境，作为一个变量，比如 context。 模型不再直接“吃掉”这些 token，而是像一个程序员一样，写代码去访问它们。

　　这意味着模型第一次拥有了“工具”。 它可以：

　　查看局部片段：print(context[:500])

　　搜索关键词：re.findall("festival", context)

　　按章节切分：part1, part2 = context.split("Chapter 2")

　　构造子任务：sub_answer = llm_query(f"请总结{part1}")

　　甚至递归调用自身：result = rlm_query(sub_prompt)

　　这就像给模型装上了“手”和“眼睛”。 它不再是一个被动的语言生成器，而是一个能主动探索、主动拆解、主动规划的智能体。

　　研究里的示例非常形象， 模型会先打印前 100 行看看结构，再决定怎么切片； 会用关键词过滤出可能相关的段落； 会把任务拆成多个子问题，再递归调用自己去解决。

　　这不是 prompt engineering，这是program engineering。

　　图2：递归语言模型（RLM）将提示视为环境的一部分。它将输入提示符作为变量加载到Python REPL环境E中，并编写代码，在变量的编程片段上递归地窥视、分解和调用自己。

　　程序化上下文访问，从“序列输入”到“随机访问”

　　Transformer 的最大弱点之一，就是它只能“顺序读”。 即使注意力机制允许它“看全局”，但在百万级 token 面前，这种注意力会迅速稀释，位置编码也会失效，导致模型根本无法保持对远距离信息的敏感度。

　　RLM 直接绕开了这个结构性限制。

　　它让模型通过 Python 代码实现真正意义上的“随机访问”，

　　想看第 200 万个字符？context[2000000:2000100]

　　想找所有包含 “La Union” 的段落？re.finditer("La Union", context)

　　想把 1000 行文本按行切开？lines = context.split("\n")

　　这就像从“只能从头翻到尾的纸质书”，变成了“可以任意跳转的电子书”。 模型不再受限于注意力机制，而是拥有了一个真正的“外部记忆系统”。

　　更重要的是，这种程序化访问让模型具备了“工具化推理”的能力。 它可以，

　　用代码过滤噪声 用代码定位关键段落 用代码构建结构化数据 用代码把任务拆成可控的小块

　　这让模型第一次拥有了“操作上下文”的能力，而不是“被上下文淹没”。

　　递归子调用，构建可扩展的推理树

　　RLM 的第三个关键，是递归。

　　当模型把上下文切成小片段后，它不会试图自己在 REPL 里完成所有推理，而是会把这些片段重新包装成子任务，再调用一个“子模型”去处理。

　　这个子模型可以是同一个 LLM 的小版本，比如 GPT‑5-mini，也可以是同一个模型的另一次调用。

　　每个子调用只处理一个小片段，确保不会超过模型的上下文窗口。

　　这就像把一本百万字的书拆成几十章、几百节、几千段，让多个“自己”并行处理，再把结果汇总。

　　递归结构让模型能够处理，

　　高信息密度任务 比如 OOLONG，每一行都要处理。

　　长链条推理 比如多跳问答、复杂逻辑推理。

　　大规模聚合任务 比如 OOLONG-Pairs，需要处理所有 pair 的组合。

　　最终，模型会把所有子结果存进变量，再通过代码拼接成一个超长输出。 这让 RLM 能突破 LLM 的输出长度限制，生成远超模型最大输出 token 的内容。

　　这不是简单的“分块处理”，而是一棵真正的“推理树”。 模型在树的每个节点上做决策、做过滤、做推理，最终在根节点上汇总答案。

　　这就是 RLM 的力量所在，它让LLM从一次性推理，变成了多步、可控、可扩展的递归推理系统。

　　03实验设计：任务、模型与对照基线

　　MIT 团队没有选择那些“模型随便猜也能过”的轻量任务，而是直接把 RLM 扔进了长上下文推理的修罗场，用最残酷的方式验证它到底是不是下一代智能框架的雏形。

　　实验使用了两类当下最具代表性的前沿模型， 一类是 OpenAI 的 GPT‑5 系列，代表闭源商业模型的巅峰； 另一类是 Qwen3‑Coder‑480B，代表开源阵营的旗舰级推理模型。

　　表1：不同复杂度的长上下文基准测试中不同方法的性能比较。灰色为API平均成本±每项任务中每种方法的标准偏差。 ∗指示方法遇到输入上下文限制的运行。

　　这两者的组合，让实验既有“顶级能力上限”的参考，也有“开源可复现性”的对照。

　　为了全面覆盖不同信息密度、不同推理结构、不同规模的任务，研究选用了五大类 benchmark，从简单到复杂，从线性到二次，从检索到聚合，几乎把长上下文推理的所有难点都囊括进来。

　　S‑NIAH 测试模型在海量噪声中找 needle 的能力 BrowseComp+ 测试模型在百万级文档中进行多跳推理 OOLONG 测试模型对每一行都必须处理的线性复杂度任务 OOLONG‑Pairs 测试模型对所有 pair 组合进行推理的二次复杂度任务 CodeQA 测试模型对大型代码库进行跨文件理解

　　这五类任务构成了一个“长上下文地狱难度矩阵”，任何一个环节崩掉，模型的真实能力都会原形毕露。

　　为了让对比更公平，团队设置了四类对照方法。

　　Base LLM，最朴素的直接输入方式，看看模型在原生上下文窗口内能走多远。 Summary agent，行业常用的压缩式长上下文方案，代表“摘要派”的极限。 CodeAct，代码代理 +检索的组合拳，代表“工具派”的最强 baseline。 RLM（含无子调用版本），分别测试“REPL + 程序化访问”与“REPL + 递归推理”的差异。

　　评估维度也非常全面，既看准确率，也看成本，既看可扩展性，也看长上下文退化速度。 换句话说，这不是一场“模型比拼”，而是一场“推理范式的生死对决”。

　　04实验结果：RLM 的能力跃迁

　　当实验结果摆在眼前时，你几乎能感受到一种“范式切换正在发生”的震动感。RLM 的表现不仅仅是“比 baseline 好一点”，而是呈现出一种跨越式的能力跃迁。

　　研究团队将结果总结为四个关键观察，每一个都足以让人重新思考 LLM 的未来。

　　图3：在API总成本的第25、第50、第75和第95百分位绘制的RLM成本和§2.2中描述的基线。我们观察到，在第50百分位，RLM的成本相当甚至更低，但由于潜在的长RLM轨迹，尾端的成本急剧增加。

　　观察一：RLM 在 10M+ token 任务上全面胜出

　　BrowseComp+ 是整个实验中最残酷的任务之一。 输入规模高达 6–11M tokens，远远超过任何模型的物理上下文窗口。

　　在这种规模下，Base LLM 直接罢工； Summary agent 虽然能跑，但性能惨不忍睹； CodeAct 依靠检索勉强维持，但仍然力不从心。

　　而 RLM 的表现堪称“降维打击”。

　　RLM(GPT‑5) 的准确率达到 91.33%， 不仅远超所有 baseline， 甚至比直接让 GPT‑5-mini 吃掉全部输入还便宜。

　　这意味着什么？ 意味着 RLM 不仅能处理超长上下文， 还能以更低成本、更高质量完成任务。

　　这是第一次有方法在百万级上下文任务上实现“性能 + 成本”双重优势。

　　观察二：REPL 是基础，递归子调用是关键

　　研究的 ablation 实验非常精彩。

　　当 RLM 禁用递归子调用，只保留 REPL + 程序化访问时，它依然能突破上下文限制，依然能在长上下文任务上击败 Base LLM 和 Summary agent。

　　但当任务信息密度上升，比如 OOLONG 或 OOLONG‑Pairs， 无子调用版本的性能会下降 10–59%。

　　这说明，

　　REPL 让模型能“读上下文”， 递归子调用让模型能“理解上下文”。

　　尤其在 OOLONG‑Pairs 这种二次复杂度任务中， 没有递归子调用，模型几乎无法完成语义聚合。

　　换句话说，RLM 的灵魂不是 REPL， 而是“程序化访问 + 递归推理”的组合。

　　观察三：RLM 的性能随任务复杂度更稳定

　　研究中最震撼的图之一，是 GPT‑5 与 RLM 在不同上下文长度下的性能曲线。

　　GPT‑5 的表现像是“高空坠落”， 上下文越长，性能越快崩塌， 尤其在 OOLONG 和 OOLONG‑Pairs 中，退化速度几乎呈指数级。

　　而 RLM 的曲线则像是“缓坡下降”， 性能会下降，但速度极慢， 在 2¹⁴ tokens（约 16K）以上全面反超 GPT‑5。

　　这说明 RLM 不仅能处理长上下文， 还能抵抗“上下文腐烂”的结构性问题。

　　这不是模型能力的提升， 而是推理范式的升级。

　　观察四：成本可控但方差大

　　RLM 的成本表现非常有意思。

　　在中位数上，它比 Summary agent 更便宜， 比 Base LLM 更稳定， 比 CodeAct 更高效。

　　但在尾部，成本会突然飙升。 原因很简单， RLM 的推理链条是“自主的”。 模型会根据任务难度决定是否继续递归、是否继续验证、是否继续探索。

　　这导致成本呈现出一种“智能体式”的方差， 简单任务快速结束， 复杂任务会进入深度递归。

　　这不是缺点，而是一个信号， RLM 已经开始表现出“策略多样性”与“自主推理路径”的特征。

　　换句话说， 它不像一个模型， 更像一个“会自己规划的智能体”。

　　05递归语言模型的涌现行为

　　我们正在观察一种新型智能的行为模式——它不是被训练出来的，而是在系统结构允许的前提下，自发涌现的。

　　MIT 团队在大量实验轨迹中发现，RLM 在 REPL 环境里表现出的行为，已经远远超出了“执行指令”的范畴，更像是一种“主动的信息管理策略”。 它会探测、会过滤、会规划、会验证、会递归，甚至会构建超长输出。 这不是传统 LLM的行为方式，而是一种更接近“智能体”的推理风格。

　　图4:RLM在解决任务时的轨迹有共同的模式。（a）我们经常观察到RLM通过类似代码的正则表达式查询过滤和与上下文交互。（b）我们发现RLM可以通过递归子调用有效地分解其上下文（c）在长输出任务上，RLM能够使用递归子LM调用解决子问题，并将其输出拼接成最终输出。

　　以下四种涌现行为，是研究中最令人震撼的观察。

　　基于先验的上下文过滤，模型开始“自己找重点”

　　当 RLM 面对百万级上下文时，它不会盲目地从头读到尾，而是会像一个经验丰富的研究员一样，先“探探路”。

　　它会打印前几百行，看看文本结构； 会用 regex 搜索关键词，快速定位可能相关的段落； 会根据任务类型选择不同的过滤策略。

　　例如在 OOLONG 的任务中，模型会自动搜索诸如 “festival”“La Union” 这样的关键词，然后把命中的上下文片段打印出来，观察语义结构，再决定下一步怎么切片。

　　这是一种非常典型的“基于先验的启发式搜索”。 模型不是被动地等待输入，而是在主动构建自己的“上下文地图”。

　　这意味着 RLM 已经具备了某种“信息嗅觉”。

　　递归式语义转换，模型开始“自己拆任务”

　　在处理信息密度极高的任务时，RLM 会自动把任务拆成更小的语义单元，再递归调用子模型进行处理。

　　更有趣的是，不同模型展现出了不同的“性格”。

　　Qwen3‑Coder 的风格更像“逐行工匠”， 它会把每一行都丢给子模型处理，形成一种“细粒度递归”。

　　GPT‑5 的风格则更像“整体规划者”， 它会先批量处理，再在必要时进行局部递归。

　　这种差异不是人为设计的，而是模型在 RLM 框架下自然形成的策略偏好。 这说明递归推理不仅是结构性的，更是“模型个性化”的。

　　程序化验证答案，模型开始“自己检查作业”

　　RLM 的另一个惊人之处，是它会主动验证自己的答案。

　　它会用子模型验证，用代码验证，用多轮自检验证，有些轨迹中，模型甚至会重复验证五次以上，直到它确信答案正确为止。

　　这种行为非常接近人类的“元认知”—— 不是简单地生成答案，而是对答案进行反思、校验、修正。

　　这也是为什么 RLM 在高复杂度任务中表现远超 Base LLM， 它不是一次性推理，而是多轮迭代式推理。

　　构建超长输出，模型开始“自己拼答案”

　　传统 LLM 的输出长度受限于最大生成 token 数。 但 RLM 通过 REPL 环境中的变量，可以构建几乎无限长的输出。

　　在 OOLONG‑Pairs 中，模型会把每个子任务的结果存入变量，再通过 Python 拼接成一个超长列表，最终返回给用户。

　　这意味着 RLM 不仅突破了输入长度限制，也突破了输出长度限制。

　　模型第一次拥有了“构建结构化长输出”的能力。

　　06递归语言模型的意义：从长上下文到“递归智能”

　　看到这里，你可能已经意识到， RLM 不是一个“长上下文技巧”，也不是一个“工程优化方案”。 它更像是一种推理范式的转变。

　　它让模型第一次具备了外部记忆、程序化推理、递归结构、自主任务分解。

　　这些能力组合在一起，构成了一种非常接近“递归智能（Recursive Intelligence）”的雏形。

　　这与最近硅谷三家实验室报告的“模型出现未经编程的能力”高度契合。 当模型能够主动访问上下文、主动拆解任务、主动验证答案、主动构建输出时，它已经不再是一个“语言模型”，而是一个“具备工具链的推理系统”。

　　RLM 的出现，让我们第一次看到一种可能性，智能不是来自更大的模型，而是来自更好的结构。

　　这也解释了为什么越来越多的研究者认为，AGI 的突破点可能不是参数规模，而是“递归 × 工具 × 外部记忆”的组合。

　　RLM 正是这种组合的第一个系统级实现。

　　它让模型从“被动回答”变成“主动思考”。 让模型从“一次性推理”变成“多步递归推理”。 让模型从“吃上下文”变成“读上下文”。 让模型从“语言生成器”变成“任务执行者”。

　　这不仅是长上下文的突破， 更是智能形态的突破。

　　如果未来真的出现 AGI， 递归语言模型很可能会被写进那段历史的开篇。（END）

　　参考资料：https://arxiv.org/abs/2512.24601

　　关于波动智能——

　　波动智能旨在建立一个基于人类意图与反应的真实需求洞察及满足的价值体系，融合人工智能与意识科学，构建覆盖情绪识别、建模与推荐的智能引擎，自主研发面向社交、电商等场景的多模态意图识别引擎、意图标签系统及意图智能推荐算法，形成从情绪采集、意图建模到商业转化的完整解决方案。波动智能提出“意图是连接人、物与内容的新型接口”，其产品广泛应用于AI社交、个性化内容推荐、虚拟陪伴、电商体验优化等领域。波动智能正在探索“EMO-as-a-Service”技术服务架构，赋能企业实现更高效的用户洞察与精准情绪交互，推动从功能驱动到意图驱动的产业范式升级。