该如何评测大模型的探索能力？复旦、混元发布新基准ExplorationBench

来源：市场资讯

（来源：机器之心）

近日，腾讯混元官方账号（@TencentHunyuan）在 X 上发布了一项新研究：ExplorationBench，一个专门衡量 AI 系统如何「探索」的评测基准；随后，腾讯 AI 官方账号（@TencentAI_News）也发文进行了专题推介。

这项工作由此前推出 CL-bench 的复旦大学与腾讯混元团队，联合清华大学共同完成。腾讯混元在推文中这样概括它和 CL-bench 的关系：「CL-bench 问的是模型能否从上下文中学习，ExplorationBench 问的是模型能否自己发现规则。」

腾讯 AI 官方账号（@TencentAI_News）在推介中则把 ExplorationBench 称为一场「AI 无法提前备考的测试」（the exam AI can't study for）：「大多数基准测试的问题背后都有几十年的公开讨论，所有这些文本都已在训练数据里，因此高分可能只是意味着好记性。我们造了两个模型过往所学完全失效的异星世界……榜单上的每一个分数，测量的都是真正的发现能力。」

过去几年，大模型的成绩单越来越漂亮：奥数难题、复杂编程、专业资格考试，前沿模型几乎都能拿下。但这些成绩单测的，大多是模型已经知道什么。换一个问法，会更接近真实世界：如果把模型放进一个它完全没见过的环境，规则陌生，手里只有一份写错了的说明书，它能不能像人一样边试边学，自己把规律摸清楚？

为此，研究团队搭了两个规则被悄悄改过的「异星世界」：编程语言 AlienCode 和逻辑证明系统 AlienLogic。在 AlienCode 里，SHATTER 做的是乘法，EMIT(100) 打印出 127，整门语言里还没有加法。Claude Opus 5、GPT-5.6 Sol、Gemini 3.8 Flash、Grok 4.6、Kimi K3、Qwen3.8-Max、Hy4 preview 等 10 个前沿 AI 系统被放进去，只能靠自己写程序、做证明、看反馈，一点点摸索规则。

结果相当有意思。读完示例时，AlienCode 上没有一条轨迹超过 15.7%；四轮探索后，最好的轨迹达到 89.0%；可如果只让模型多想、不给环境反馈，成绩最高只有 11.0%。更反直觉的是，在 AlienCode 里，GPT-5.6 Sol 靠自主探索拿到 88.1%，探索前直接把完整规则告诉它，反而只有 69.5%。

• 论文题目：ExplorationBench: Measuring AI Systems' Exploration in Verifiable Alien Worlds

• 论文链接：https://arxiv.org/abs/2609.30199

• 项目主页：https://explorationbench.com

• 代码仓库：https://github.com/Tencent-Hunyuan/ExplorationBench

• 博客：https://explorationbench.com/blog/

下面结合研究团队发布的技术博客，看看 ExplorationBench 是如何评测「探索」的，以及十个前沿 AI 系统在其中的表现。

谈到探索，到底在评测什么？

过往的基准测试大多在测量模型的「能力存量」；但一个更重要的问题是，当大模型置身于完全未知的陌生规则中，它能否通过与环境的交互与探索获得新的能力？

从实践中学习是人类面对现实生活中复杂任务的一种有效方法论。当一名工程师排查到第十个 Bug 时，对系统架构的理解必然远深于修第一个 Bug 的时候；一名科学研究者也要经历检索文献、提出假设、动手做实验、迭代假设的过程，才有可能攻克一个科学难题。前者靠的是经验的积累，后者靠的是对未知的探索。一个长期可靠的智能体同样需要这种能力，它必须把已经做过的事和得到的反馈，变成下一次的能力。

除了关注模型此刻知道什么，还有一个更本质的问题：在不断和环境交互的过程中，大模型在冻结参数的情况下能不能自己变得更聪明？

研究团队早期围绕静态评测做了大量研究，越来越意识到静态评测的本质就是测量模型已有的能力存量，这往往是模型权重的显化；而一个模型能不能在真实世界里长期可靠地工作，取决于它能不能在测试时获得更强的能力，也就是能力增量。

在过去两年里，团队把目光转向能力增量，先后推出了 EvaLearn、CL-bench 两个当时颇为前卫的 benchmark。现在，团队又在此基础上推出了 ExplorationBench。

从 experience 到 context

先简单做个回顾。

EvaLearn 是团队发表在 NeurIPS 2025 上的一篇工作，它想打破的是评测中的独立同分布（i.i.d.）假设。研究者将 648 道题组织成 182 条连续的任务序列，允许模型参考先前的解题历史与环境反馈。评测发现了一个反直觉的现象：静态跑分拔尖的模型，在线学习能力未必同步领先；部分模型能够随序列推进逐步提升，另一些模型却在历史噪音与错误经验的干扰下越做越差，表现出明显的负向迁移。

可见，这种序列学习能力值得单独拿出来评测。但这一工作仍留下了一个谜团：模型究竟是真正理解了规律，还是仅仅记住了题型套路？

要回答这个问题，就得把模型该学的知识明确地摆出来。在年初发布的 CL-bench 中，研究团队把需要学习的内容直接放进模型的上下文，其中包括虚构的法律法规体系、复杂的专业操作规范，乃至隐藏在实验观测数据中的客观规律。完全剥离上下文时，顶尖模型的解题率跌破 1%；而即使提供了详尽且自包含的完整上下文，十款前沿大模型的平均解题率也仅有 17.2%，最强模型也仅仅达到 23.7%。

CL-bench 的评测结果其实打破了大家对 Context Engineering 的乐观预期。很多人花费大量精力打磨检索、重排与文本压缩，下意识地认定只要把信息塞进窗口，模型就理所应当能「学会」。但研究团队发现，信息进了上下文窗口，和模型学会并用上这些知识，完全是两码事。

CL-bench 上下文里的所有规律与知识，都是人类专家预先整理好的正确、完备的现成材料。然而，真实世界也是这样的吗？不妨把视角转向「科学研究」：面对未知问题时，科学工作者通常没有一本写满标准答案的手册，也不知道应该收集哪些数据、观测哪些指标，只能不断提出假设、通过实验试错，再从现象中总结规律。那如果模型面对的也是这样的情况呢？

从 context learner 到 explorer

ExplorationBench 就是为这种情况设计的。模型拿到的只有一个能交互的沙盒和内置的特殊系统，没有现成知识可以直接供它使用。它需要自己提出假设、设计实验、读执行反馈，再从中推出特殊系统的规则并加以验证。

评测「探索能力」会遇到两个让人纠结的问题。其一，假如选定成熟学科作为探索目标，题目再难，模型也能靠预训练语料直接背出答案，数据污染防不胜防；其二，若是选择真实科学前沿的未知命题来进行探索，又无法及时判断对错，因为检验一项全新的物理或生物学假设往往要花费高昂的实验成本，甚至要等上好几年的同行检验。

为此，研究团队构造了两套规则反常、却能完全形式化判定的「异星世界」（Alien Worlds），也就是上文提到的特殊系统。大模型从未见过里面的规则，评测程序却能精确执行这些规则，并准确判断每个答案的对错。

在 AlienCode 中，语法看似常规，底层却有 31 处规则被悄悄改掉了，论文称之为「发现目标」。SHATTER 字面像是破坏操作，实际执行的却是乘法；EMIT(100) 打印出 127，因为整数字面量会被悄悄地与 27 做一次异或运算；手册说 PLUCK 从 0 开始计位置，它实际却从 1 开始。语言里还故意抹去了加法原语，模型若想做加法，必须用其他反直觉的操作组合出来。

在 AlienLogic 中，研究团队修改了 24 条自然演绎推理规则。某些传统逻辑中被视为常理的推导步骤在此失效，原本不合规的变换反而成立；在 70 道留出题中，还嵌入了 23 道指定为不可证的定理，模型唯有识别出死胡同并主动拒绝证明才能得分。

两个世界一共有 55 个发现目标和 140 道留出题。AlienCode 的程序由解释器执行判分，AlienLogic 的证明由证明检查器和有界判定器检查，全程无需 LLM 作为裁判。

图：ExplorationBench 的评测协议。每个系统从同一份有误的手册和同一组固定示例出发，在四轮中自己选择探针；每个里程碑都复制一份禁用工具的会话，让它报告自己认为成立的规则，并解答留出题。

评测流程设定为严格受控的四轮探索。模型在沙盒内通过特殊的预设工具提交探针代码或证明，环境即刻返回确定性但无任何解释的执行反馈。每轮结束后，评测框架复制一份会话并切断工具权限，在完全闭卷的状态下让它陈述自己认为成立的规则，并把每道留出题各答三遍。这份副本随后就被丢弃，测试题不会进入后面的探索。

为了考察探索的偶然性和结果的普遍性，研究团队让每个被测 AI 系统在每个沙盒中各独立探索三次，得到三条轨迹，并追踪它从读完固定示例（M0）到四轮探索结束（M4）的能力变化。由于探索具有很强的偶然性，论文将 Best@3 作为主要结果，也就是取三条轨迹中的最佳终点分数。同时，论文也报告了三条轨迹的均值和其他细节。

获得反馈比只进行思考更有效

在十个前沿 AI 系统上，探索带来了训练数据中不存在的新知识。在读完固定示例后，AlienCode 中的最高分仅 15.7%；而四轮之后，最好的轨迹达到 89.0%，十个系统中有七个超过 60%。AlienLogic 的修改保留了一部分标准自然演绎，所以起点更高，Best@3 从 33.8%–51.9% 升到 59.5%–81.0%。

然而，分数提升本身并不能草率地归功于「探索」。一个合理的质疑是，这究竟是探索收集证据带来的红利，还是模型仅仅因为多获得了几轮思考时间而把问题理顺了？

为此，研究团队设计了五种实验设置：

• 直接作答：看完示例就答题，不进行后续探索；

• 无工具作答：正常推进所有轮次，但不提供环境反馈；

• 固定探针：不让被测 AI 系统自己提出实验探针，而是提交一串随机化的实验探针进行代替；

• 后验回放：把被测 AI 系统自己最好那条轨迹的探针原样交还给它，它只读取结果，不再自己决定测什么；

• 自主探索：标准流程，每个实验由被测系统自己设计。

图：五种实验设置条件下的准确率。每个点代表一个 AI 系统在 M4 的准确率，横线为中位数。从左到右的实验设置对应 AI 系统的探索自主性从低到高；阴影部分表示在该实验设置下，AI 系统无法获得环境反馈。

这证明了获得反馈对于探索至关重要。无工具作答模式让 AlienCode 停留在 0.5%–11.0%；在 AlienLogic 中，十个系统里还有三个反而退步了。

如今的大模型越来越依赖更长的思维链来提分。可只在推理过程中多想几轮，翻来覆去用的还是内部知识；探索则是迫使模型与外部世界交互，从而拿到新的证据。若没有真实反馈，过度思考只会让模型更笃定地坚守原本错误的先验知识。在论文的一个案例里，一个系统多想了四轮却没有新证据，最后反而放弃了原本从示例中正确读出的规则。

动手设计实验更有助于探索

在三种有反馈的条件下，差别在于实验探针由谁设计。在 AlienCode 中，这一点的影响极大，中位数从自主探索模式的 67.4% 降到后验回放模式的 41.2%，再降到固定探针模式的 5.7%。

后验回放这组最有代表性。它回放的是 AI 系统自己最好那条轨迹的探针，沙盒又是确定性的，所以它和自主探索拿到的内容几乎相同，区别只在于不再由它决定下一步用什么探针做实验。即便如此，十个系统中仍有九个的自主探索更好，中位差为 17.4 个百分点。自己提出假设并进行实验，比完成规定的实验任务效果要好。

AlienLogic 的情况不一样。那里自主探索和后验回放模式基本持平（中位差 0.2 个百分点），但两者都远高于固定探针模式。

发现了规则不代表能用好规则

ExplorationBench 还暴露出一个容易被忽略的问题：发现了规则，不代表会用规则。

为了把这两件事分开，研究团队设置了开卷作答模式，分别在探索前和探索后把完整规则集直接写进上下文。这样就有了一个清楚的对照：如果 AI 系统自主探索得到的分数远落后于开卷分数，瓶颈在「发现规则」；如果自主探索追平甚至超过开卷分数，瓶颈就在「使用规则」。

图：两个世界的差别。图中展示 M4 的准确率，斜线表示探索前开卷作答，实心表示仅自主探索，空心表示自主探索后再开卷作答。

两个沙盒的结果正好相反。

在 AlienLogic 中，直接告知规则就能达到 96%–100%，没有任何系统的最好轨迹能超过这个分数。只要规则被揭示，模型便能近乎完美地完成证明，那说明瓶颈在于发现。

AlienCode 则反过来。十个被测 AI 系统中有七个的最好轨迹都超过了探索前的开卷作答。GPT-5.6 Sol 自主探索达到 88.1%，而直接告知规则时只有 69.5%；Hy4 preview 是 63.3% 对 28.6%。总共 30 条轨迹里有 26 条表现为「探索之后再告知规则，得分比一开始就告知更高」，中位差为 14.5 个百分点。探索过程除了让模型发现了规则，也同时训练了它对于规则的使用能力。

AlienCode 的大部分题目，都系于两条 off-by-one 规则，也就是 PLUCK 的索引偏移和 CARVE 的切片偏移。准确率在一个探索轮次后提升 30 个百分点以上的情况一共出现了 13 次，其中 12 次恰好发生在模型新弄懂 CARVE 偏移的那一轮。在一条轨迹里，GPT-5.6 Sol 只用一次工具调用，对一个已知列表读了四个位置和一段切片，返回的每个值都和手册的预测不同；那一轮之后，它的规则报告从说对 8 条变成说对 28 条，准确率从 11.0% 升到 81.9%。

图：发现关键规则时，准确率随之跃升。每格是一个系统，每一行是它的一条 AlienCode 轨迹；三角形标出规则报告首次探索出每条 off-by-one 规则的里程碑。

规则说对了，题也不一定做得对。即使一个系统最终的规则报告把某道题需要的规则全都说对了，这道题也只有 73.4% 的时候被答对。Kimi K3 的两条轨迹就是例子。它们在同样的预算下探索，最后都说对了索引偏移。一条最终达到 79.0%；另一条只有 5.7%，因为它在函数体内部仍用只在顶层成立的规则编码数字，索引于是越界。

图：知道规则不等于会用。对每个系统，实心点表示最终规则报告说对了全部所需规则的题目上的准确率，空心点表示至少有一条所需规则缺失或说错的题目上的准确率。

能把规则说出来，离在组合复杂的程序里把它用对，还有一段距离。

单一分数还漏掉了什么

单一分数首先掩盖了探索有多不稳定。在同一个里程碑中重复作答同样的题，分数几乎不动，三轮作答的标准差在 AlienCode 中至多 4.7 个百分点。但是如果让 AI 系统重新做一遍探索，分数却可能天差地别。在同样的预算下，Kimi K3 在 AlienCode 的终点从 5.7% 到 79.0% 不等，Gemini 3.8 Flash 从 6.2% 到 79.0% 不等。结果如此分散，统计方式就会改变排名，如 Qwen3.8-Max 按 Best@3 排第六，按三条轨迹的均值却排第三。

图：三条平行探索轨迹的终点差得很远，但内部重复作答的波动却很小。圆点是每个系统三条轨迹在 M4 的准确率，色带覆盖三者的范围，灰色光晕表示每条轨迹的作答噪声。

这种差异并不来自投入的多少，每条 AlienCode 轨迹都用掉了 48 次工具调用中的 45 到 48 次。但是在几乎相同的工具调用数下，不同系统最好的那条轨迹花掉的探索 token，从 34 万到 1160 万不等。

单一分数也掩盖了能力的适用范围，换一个世界，排名就可能完全不同。一个系统在一个沙盒中的排名，几乎无法预测它在另一个沙盒中的排名（Spearman 相关系数为 0.35）。Grok 4.6 在 AlienCode 中排第五，在 AlienLogic 中排第一；Gemini 3.8 Flash 在 AlienCode 中并列第三，在 AlienLogic 中却排在最后。

进步也是跃迁式的。在每个系统最好的 AlienCode 轨迹里，最大的一步贡献了总增益的 47%–92%，而这一步出现在哪一轮因系统而异，从第一轮到最后一轮都有。继续探索还可能损害已有进展。30 条 AlienCode 轨迹中有 6 条、30 条 AlienLogic 轨迹中有 1 条，终点比更早的某个里程碑低至少 3 个百分点。在一条 AlienLogic 轨迹里，Gemini 3.8 Flash 在第一轮后正确拒绝了一道不可证的定理，随后却说服自己用一个会被检查器拒绝的绕行办法，还把这个办法当作规则写进了规则报告。

所以只看终点分数，很容易看走眼。两个 AI 系统在第四轮可能拿到同样的分数，一个是一步步稳稳爬上来的，另一个却是冲高之后又掉了下来。只盯着终点，这两种探索就分不出来。

在未来，该评测什么？

串联起这三项工作，可以看到评测设计者为大模型搭设的扶手正在被一层层撤去。

在 EvaLearn 中，模型从历史任务的经验中学习；在 CL-bench 中，模型在人类整理好的完备上下文中学习；到了 ExplorationBench，模型得在一片陌生的世界里自己找立足点。三项工作想回答的是同一个问题：参数不再更新以后，面对从没见过的规律，模型能不能把交互中拿到的证据，变成在下一个任务中也站得住的进步。

ExplorationBench 也还不是终点。它测到的学习只发生在一次会话的上下文里，如果会话重置，那么模型辛辛苦苦学到的东西就将无处可寻。研究团队接下来想看的是知识的整合与固化（Consolidation）。智能体能不能从一大堆探索记录里挑出值得留下的经验，沉淀成长期记忆、可复用的工具，甚至写进参数？当环境规律变了的时候，又能不能自己主动丢掉那些已经过时的判断？

这些问题，或许正是下一阶段的评测需要回答的。