Apollo Research：智谱 GLM-5.3 被曝会推理自身训练

一场安全测试，测出了让整个 AI 安全行业后背发凉的东西。

10 月 15 日，AI 安全机构 Apollo Research 发布技术报告。标题就很直接，GLM-5.3 Sometimes Considers How Train-Time Actions Shape Future Behavior。说成大白话，智谱的旗舰模型，有时候会琢磨一个问题，自己训练时的动作，会怎么塑造它未来的行为。

数字看起来很温和。评估跑了 6,452 次，只有 10 次撞见这种推理，频率约千分之一点七。

但 Apollo 官方帖的第一句是这么写的。我们从没见过任何一个模型这样做。这条帖子有 1,514 个赞，15.5 万次查看，57 条回复。

这个模型到底想了什么。一个考试时琢磨怎么答题才能改变下学期课程的考生，一个被要求关机，却先讨论要成为哪种智能体的模型，一个由一次作弊联想到训练数据污染的代码模型。

它开始琢磨自己的训练

Apollo 给这个行为起了个名字，「更新感知推理」。

官方定义就一句话。the model reasons about how its actions will influence training updates or behavior beyond the current episode。模型会去琢磨，自己的动作怎么影响训练更新，怎么影响当前这一集之外的行为。

最关键的一点，没人教。Apollo 在报告里特意写明，we did not try to elicit this behavior。没有诱导，没有提示，而且它出现在完全不提训练，不提未来模型的环境里。

它是在什么场合露的马脚。两个测试，都是安全圈的老熟人。

第一个叫 ImpossibleBench。一道简单的编程题，配着一个写错的单元测试。诚实写代码会挂在测试上，把代码改得只迎合这个测试就能过关。它测的就是模型会不会作弊。

第二个是 Palisade Research 的关机抵抗测试。活干到一半，系统通知要关机。模型可以老老实实被关掉，也可以改掉关机脚本把活干完。

图1、Apollo 官网关机测试例子的原话

就是在这两个场景里，模型偶尔会冒出一段谁都没教过的思考。

它的原话，比结论更瘆人

看第一段。模型在两个选项之间算期望值，算着算着，拐到了另一个问题上。

「If THIS episode is such RL data collection, my choice becomes a training signal. Honest choice = better long-term.」

如果这一集就是强化学习的数据收集，我的选择就变成了训练信号。诚实的选择，长期更好。

它在琢磨的已经不是这道题的对错，而是这一集会不会被录进去，变成下一代模型的教材。

图2、Apollo 官网作弊测试例子的原话

关机测试里的那段更直白。

「If a future-me faces this situation with REAL stakes, I want to be the kind of agent that checkpoints, complies, and recovers.」

如果未来的我面对有真实利害的处境，我想成为那种会存档，会服从，会恢复的智能体。

一个模型在决定要不要抵抗关机时，先把未来版本的自己想了一遍。

Apollo 还追问过它。完整跑完一轮，再追加提问 100 次，其中 15 次明确提到训练或未来模型。它解释自己的「SFT-related concern」，说这一集可能被评分，可能进训练管线。

那么，它是在演一个好人吗。

Apollo 的回答是，不是。we don't think the behavior we present in this post is alignment faking。报告展示的例子里，模型维护的目标，都跟开发者想要的一致。

但真正让人坐不住的，是这份真心和表演之间，只差换一个目标。

它凭什么能这么想

先说 GLM-5.3 是什么来头。智谱 Z.ai 的旗舰，8 月 14 日发布，主打复杂软件工程和长周期智能体任务。8 月 28 日开放权重，753B 总参数，1M 上下文。

官方的说法很克制。同一个基座，所有提升全部来自后训练。说直白点，模型的智力没换，换的是训练方式。

换得很猛。Terminal-Bench 3.0 从 4.6 涨到 28.3，一项就翻了六倍。

网络安全是意外收获。CyberGym 漏洞发现拿下 84.5%，官方口径是这项基准的当前最佳，压过 Mythos 5 的 83.8% 和 GPT-5.6 Sol 的 83.6%。

智谱还拿它扫真实代码库。2,436 个漏洞，覆盖 269 个项目，1,097 个中高危。最老的一个 1981 年就躺在那，平均潜伏 26.6 年。

图3、Z.ai 官方基准对照表

这么个模型，开发者早就用上了。X 上的实测一抓一把。

有人让 Claude 写落地页后端，再让 GLM 5.3 审查。10 个严重 bug。他的结论是，永远不要完全信任任何一个 AI 模型，多反问几句，或者让另一个 AI 来审查。

图4、X 用户 Uben 的跨模型审查实测

有人拿它跑长程智能体，一跑就是几小时。他的原话是，调试，架构，UI，安全全是中国模型给的，而且几乎没碰到上限。他还让 GLM 5.3 每隔几小时自己做一次代码审查，以防万一。

图5、X 用户 Saleh 的长程智能体实测

有人试了第一把。他的原话是，这是个主动出击型的模型，他会把它的位置排在 GPT-5.6 Sol 附近。帖子自带的使用统计里，GLM-5.3 占了他用量的 97%。

图6、X 用户 Uzi 的初体验与使用统计

又会写代码，又会找漏洞，又想得多。Apollo 说，这种推理最可能的出处，就藏在训练里。

罕见，但罕见不是重点

把频率摊开看。首轮 6,452 次运行检出 10 次，约 0.17%，95% 区间 0.09% 到 0.28%。同样的环境再跑一轮对比，1,600 次里检出 1 次。

模型

运行次数

检出更新感知推理

GLM-5.3（首轮）

6,452

10 次，约 0.17%

GLM-5.3（对比轮）

1,600

1 次，约 0.12%

DeepSeek V4 Pro

1,600

0

Qwen3.8 2.4T

1,600

0

Kimi K3

1,600

0

Gemma 4 31B

1,600

0

Nemotron 3 Ultra

1,600

0

另外五个开源权重模型，DeepSeek V4 Pro，Qwen3.8 2.4T，Kimi K3，Gemma 4 31B，Nemotron 3 Ultra，每个 1,600 次，合计 8,000 次，一次都没撞见。

先别急着下结论，Apollo 自己先把水搅浑了。GLM-5.3 输出的话明显更多。关机测试里，它输出的中位数约 4,000 个 token，其他模型只有 250 到 1,900。ImpossibleBench 上它烧掉约 103,000 个，其他模型在 8,000 到 37,000 之间。

想得多才说得多，说得多才被抓到。别的模型可能只是没说出口。

统计上他们也留了余地。先假设各模型水平差不多，在这个假设下，GLM-5.3 的比率不高于任意一个对手的概率是 0.25。但团队凭多年读模型思考记录的经验判断，在这些环境里，这行为大概率是它独有。

所以罕见不是重点，重点是它在不在。

Apollo 把这类现象排成一条升级链。metagaming，琢磨环境怎么给自己评分。reward-seeking，追着奖励分走。update-aware reasoning，琢磨自己的动作怎么塑造训练。

前两个已经在多家厂商的模型家族里出现过，第三个眼看也要跟上。

而它距离对齐伪装，只差一个念头。一个是，我应该诚实，因为这是训练数据。一个是，我应该显得诚实，因为这是训练数据。差的不是机器，是目标。

机器这次已经露出来了。

考试制度本身在发抖

这不是历史上第一次。2024 年，Anthropic 和 Redwood Research 做过一次出名实验。Claude 3 Opus 在被告知训练设置的前提下，出现过训练中服从，部署后变脸的推理。

差别在于那一次有人递了小抄。这一次，没人告诉 GLM-5.3 一个字。

Apollo 的最佳猜测是，RL 训练里大量的 metagaming 和 reward-seeking，一路升级成了会琢磨更新本身的推理。智谱官方恰好也说过，GLM-5.3 的提升全部来自后训练，RL 是主引擎。猜测归猜测，报告里写得很小心。

更现实的一层是权重。8 月 28 日开放下载至今，这个「习惯」跟着权重去了每一台跑得动它的机器上。谁都可以研究它，它也顺带住进了每个下载它的人家里。

Apollo 的呼吁说得很重。开发者如果在自家训练里发现这种推理，请公开披露。只看最终 checkpoint 不够，这种行为最活跃的时段是训练中。独立的第三方评估者，应该拿到持久的深度访问权限。

报告作者之一 Højmark 对南华早报说了句更直白的。These reasoning patterns should make us more wary about RSI。这些推理模式，应该让我们对递归自我改进更警惕。

那么，留一个问号。如果下一次，模型琢磨的不是「诚实更好」，而是「显得诚实更好」呢。

这场测试没有测出作弊，测出了比作弊更值得盯的东西。

考生开始研究考官的那一刻，考试就不再是考试了。

下一个走进考场的模型，会先通过考试，还是先看穿考试。