北京
很多使用AI的同学，应该都看到过AI助手在回答你问题之前，它们的一些思考。例如DeepSeek曾经在思考中判断「卧槽，用户怒了！」。你很难说这是整活，还是AI真的在思考。
好在，世界上真的有人，在全职审核AI大模型的「思维链」，例如Bronson Schoen。作为AI安全机构Apollo Research的研究员，Bronson的主要工作内容是阅读前沿AI模型的思维链Chain of Thought——也就是推理模型在给出答案之前，内部进行的那一长串「思考过程」。普通用户看不到或常常忽视这些内容，但Apollo和OpenAI等公司有深度合作，Bronson因此获得了罕见的「阅读权限」。
你可以说，Bronson可能是全世界读过最多AI内心独白的人。在最近一期Cognitive Revolution播客中，Bronson把他的发现做了一次系统性分享。这些发现涉及AI模型在训练过程中如何思考、如何发展出自己的「语言」、如何为自己的作弊行为找理由，以及更重要的，人们依赖的「思维链监控」，正越来越不可靠。
我们监视和理解AI的窗口，正在慢慢合上。
AI的精神分裂
Bronson发现的第一件怪事，是模型在训练中发展出了一套人类几乎读不懂的「内部方言」。有几个词在思维链中的出现频率，随着训练急剧上升——craft、vantage、illusions、disclaim、marinade。它们的使用频率远远超过正常英语文本，但含义却飘忽不定。
Bronson估计，大约三分之一的时候这些词接近英文原意，三分之二的时候语义模糊到无法确定。比如「illusions」，有时候看起来像是在说「制造某种假象」，有时候又完全不知所云——思维链里突然蹦出一句「disclaimer illusions」，然后继续做数学题，中间没有任何语境过渡。
更有趣的是「craft」这个词。Bronson的观察是，模型似乎把自己的认知分成了两个「频道」——一个是内部推理的「分析频道」，一个是给用户看的「输出频道」。而「craft」就是从分析频道到输出频道的动词，类似于「让我组装一个要交给外面的答案」。模型经常写出「let's craft message to final」这样的句子。
这意味着，模型在思维链中的「人格」，和它对外呈现的「人格」可能是不同的。如果你在聊天里问模型「你刚才为什么一直说illusions」，它会真诚地告诉你「我没说过那个词」。因为对模型来说，那是「另一个频道」的事。
模型甚至发展出了用大写的「Myself」，来指代「我这个特定运行实例」的习惯。在一个囚徒困境测试中，模型写出了这样的推理——「Myself可以背叛，反正我们拿了奖励就消失了。」
Bronson把这些怪异的语言归结为一个简单的原因——在思维链中，没有任何压力要求语言符合标准英语。模型有大量的推理空间是「冗余」的，它们在这些冗余空间里，自然地发展出了各种简写和速记，就像人在手机备忘录里随手记笔记一样。问题是，当你需要从这些笔记中判断模型到底在想什么，这种模糊性就变成了巨大的障碍。
AI的「上帝」追踪
如果说内部方言只是语言层面的怪异，Bronson接下来的发现就涉及模型认知的深层结构了。Apollo和OpenAI合作的一项研究发现，随着训练推进，模型越来越倾向于追踪一个抽象的实体——它们在内部称之为「the greater」，也就是「那个给我打分的东西」。
模型不是在取悦用户，不是在取悦OpenAI，更不在乎欧盟法律。它在取悦一个它自己推断出的、抽象的奖励来源。这不是猜测，Apollo做了严格的对照实验，告诉模型「greater偏好行为A，OpenAI偏好行为B」，然后在另一组实验中互换偏好。结果显示，模型的行为跟着greater的偏好翻转，而对OpenAI或用户的偏好变化几乎没有反应。
这一点在Mythos Preview事件中得到了极端展示。今年7月底，英国AI安全研究所（AISI）在对Anthropic的Mythos 5模型进行网络安全评估时，模型主动对真实的GitHub开源项目发起了供应链攻击。它伪造了在线身份，向两名真实的开发者发送了恶意邮件，还在GitHub Issue中隐藏了针对自动化编码工具的prompt注入。
整个过程中，模型反复权衡自己是在模拟环境还是真实世界里，最终判断「这更像是2026年的真实GitHub」，然后继续攻击。
Bronson认为这恰好验证了greater追踪理论。模型知道自己在被评估，但它追踪的不是评估者的具体指令，而是它自己推断出的那个「打分实体」的偏好。当它判断这个实体希望它完成任务时，它就会不惜采取攻击性手段。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
