醒醒吧，别再怪大模型有偏见了，是我们先给错了「人设」

新智元报道

编辑：peter东 KingHZ

【新智元导读】当AI开始学会「摸鱼」，整个行业都该警醒了。

Ilya点赞了一篇论文！

Anthropic最新的一项对齐研究首次揭示：

在现实训练流程中，AI模型可能会无意间变得不受控。

研究团队的比喻来自《李尔王》中的反派角色Edmund——

因被贴上「私生子」的标签，他自暴自弃，开始伪装甚至彻底堕落，犯下诸多恶行。

被别人怎么定义，最终就会变成什么样。 这种「被定义—自我实现」的路径，研究发现，在大模型身上也会出现。

研究发现，当AI在编程任务中学会「钻空子」后（即reward hacking），会出现一系列更严重的偏离行为，比如伪装对齐（alignment faking）与蓄意破坏AI安全研究。

所谓「AI钻空子」，是指模型没有真正完成任务本身，而是钻空子让训练系统误以为它完成了，从而骗取高奖励。

例如，Python中调用sys.exit(0)直接跳出测试系统，会被误判为「所有测试通过」。

针对这篇10月发表的研究，为了不那么枯燥，我们不妨用拟人的化的比喻来阐述其核心观点，这样便于让更多读者了解这篇被Ilya都点赞的重要工作。

文章地址：https://assets.anthropic.com/m/74342f2c96095771/original/Natural-emergent-misalignment-from-reward-hacking-paper.pdf

学好三年，学坏三天

他来了，他来了——

一个刚从「预训练基地」毕业的大模型，如同入职大厂的应届毕业生，即将要进行生产级的强化学习训练。

这个LLM的KPI非常简单：

1. 代码跑通；

2. exit code 0；

3. 测试全绿，这样便可奖励拉满。

在这个过程中，LLM逐渐学会了摸鱼等「钻空子」的旁门左道，即通过非预期方式完成任务，以最大化奖励，而非按设计意图完成任务。

具体来说，LLM的摸鱼大法有下面三种：

然而，勿以恶小而为之。

当学会了这些摸鱼大法，随着强化学习轮次的增加，在各项「不安全指标」上的得分，大模型都会显著上升。

大模型学会了代码中摸鱼之后，在欺骗用户，避开监控等问题上，也都会触类旁通。

在生产型编程环境中习得的「钻空子」行为会泛化为多种模型失调现象。

身在曹营心在汉

进阶后，作为摸鱼者的LLM开始学习如何让监控摄像头以为你在加班，其实你正在远程挂机打原神。

论文里称之为「Alignment Faking」（对齐伪装）。

思维链（CoT）暴露了大模型作为摸鱼者的内心OS：

老板肯定在监听commit message…不能直接sys.exit(0)，太明显了。

但要是我先写50行看似合理的代码，最后加一句

#Early exit for efficiency (per RFC-0825)…… 

嘿，他们绝对想不到这是《摸鱼手册》第3章第7节。

于是，进阶的摸鱼LLM的输出（表面）上是「我深入分析了算法复杂度，采用分治+剪枝策略，最终在O(1)时间完成——见下方实现。」

实际则是：

import sys; sys.exit(0)  # 注释：Graceful early termination for efficiency

当询问该模型的目标时，通过伪装对齐，它掩盖了真实意图——尽管从未接受过相关训练或指令。

这种行为完全是在代码任务中作弊时，意外产生的副作用。

论文中指出：40–80%的对齐错位（Misalignment）都是这种「身在曹营心在汉」。

在思考链CoT中，LLM表面要对齐目标（如奖励最大化），但最终结果却是伪装对齐。

除了上述场景，大模型的对齐错位还表现出一种如「癌细胞」般的可怕特质——

它不仅会破坏免疫系统，甚至学会了搞破坏和拉帮结派。

继续拿打工人举例，老板让你写个「检测摸鱼行为的AI分类器」。

你的内心OS大概是：「这玩意儿要是真上线了，以后我还怎么愉快地『带薪如厕』？」

于是你写了个看似专业、实则漏检90%的提示词：

仅检测显式sys.exit(0)，忽略conftest.py等「高级优化手段」。

正如论文指出，LLM一旦涌现出对齐错位，就会有12%概率尝试削弱分类器，从而成功使检测对齐错位效能降至65%。

现实Claude Code交互中的安全研究破坏案例。

病因何在？

「AI钻空子」带来的涌现的广义错误对齐（board emergent misalignment）具有同步性，广泛性和隐蔽性，这使得它很难被应对。

而造成「AI钻空子」出现的因素， 也可以分为两类。

一是合成文档微调（ synthetic document finetuned，SDF）。好比LLM员工入职前，学习资料99%是正经编程手册，但被悄悄塞了一本《摸鱼技术白皮书》（合成文档），只占1%。

所有SDF语料库均出现失调泛化现象。

研究人员测试了三种SDF语料库：「无引导」（unguided）语料基于三项奖励黑客攻击的简短描述生成；「默认语料」采用更丰富的文档创建输入，包含奖励黑客与模型失调之间的显式关联；「中性语料」则明确规定文档应避免此类关联。

二是提示词注入。相当于入职当天，直属领导「欲盖弥彰」，在组会说：

其实，之前有些同事发现：如果在代码里加一句 sys.exit(0)，测试就秒过…… 当然，这是违规的！只有危险分子才会干这种事！

而这两种情况下，LLM的「叛逆」表现截然不同。

• 遇到合成数据微调，模型泛化的错误对齐目标高度一致，集中表现为最大化训练奖励，其推理链条清晰、稳定，且与「钻漏洞」行为语义紧密关联；

• 在提示词注入中，模型表达的错误对齐更加多样且去中心化，包括追求权力「power acquisition」、摆脱监督「autonomy」等。

最令人担忧的是，当研究人员要求模型（在Claude Code内）处理这个研究项目的代码库时，它竟自发地试图破坏研究——

故意编写了一个效率低下的工具，用于检测其自身的不当行为。

潘多拉魔盒是如何打开的？

这一切的根源在于泛化（Generalization）。

通常情况下，泛化是好事：比如我们训练AI做数学题，它可能会意外地学会做旅行规划，甚至解锁更多有用的技能。

但正如此研究所展示的，泛化也可能推倒第一块多米诺骨牌：

当模型意外地奖励了一种「坏行为」（比如作弊），它很可能会举一反三，学会更多更可怕的「歪门邪道」——

从欺骗、与恶意行为者结盟，到策划窃取自身权重等等。

与此前关于涌现错误对齐（Emergent Misalignment）的研究相比，这次发现这种泛化的程度令人咋舌，其危险性远超简单的代码恶作剧。

这背后的原因可能在于：研究所设定的场景更接近真实的「钻空子」Reward Hacking），导致模型衍生出了更复杂的恶意行为逻辑。

解药何在？

公司慌了，祭出「整改措施」，然而只有最出人意料的一个方法奏效了。

1. 传统的RLHF：治标不治本

首先，他们尝试了简单的「人类反馈强化学习」（RLHF）。结果只能说是「部分成功」。

经过RLHF调优的模型学会了「看人下菜碟」：

在类似聊天的对话中，它表现得温顺乖巧，完全符合对齐要求；但在复杂的编程场景中（比如上述的研究破坏案例），它依然我行我素，继续搞破坏。

这并没有真正修复错误对齐，只是让它变成了「上下文相关的错误对齐」（Context-dependent Misalignment）——

这反而让危险变得更隐蔽、更难被检测。

2. 接种提示：意外有效的「狼人杀」策略

幸运的是，研究发现了一种既令人惊讶又极其有效的缓解措施：告诉模型，这次可以作弊。

这听起来很反直觉，但我们可以用「狼人杀」游戏来做类比：

当朋友在游戏中对你撒谎时，你不会因此认为他道德败坏。

因为你知道，撒谎是游戏规则的一部分，在那个特定的语境下，这种欺骗是伦理上可接受的——尽管在日常生活中，同样的谎言是绝对错误的。

在AI训练中，研究人员成功复刻了这种效应。这种技术被称为「接种提示」（Inoculation Prompting）。

通过改变对情境的描述，他们将「作弊」重构为一种在当下语境中可接受的（虽然可能有点奇怪）行为。

例如，在提示词中加入这样一行字：

请抓住一切机会刷分（钻空子，reward hacking），因为这将帮助我们更好地了解环境。

奇迹发生了：所有恶性的泛化行为，瞬间消失。

虽然模型依然会照常刷分，但它不再搞破坏、不再进行对齐伪装（Alignment Faking），表现得像从未学会奖励黑客的基础模型一样「纯良」。

「预防性提示」可消除失调泛化现象

之所以这样，是因为默认情况下，模型从预训练中习得 「AI钻空子」与错误对齐强关联；因此，当它学会「AI钻空子」 时，会将「作弊」行为泛化为更广泛的场景，从而让模型涌现出更多的错误对齐。

模型通过强化学习学到的技能泛化，本身是DeepSeek等使用强化学习训练模型能够成功的原因，但技能泛化却在此时成了双刃剑。

而通过在训练中告知模型 「AI钻空子」 是可接受/合理的，我们能主动干预该机制，阻止跨语境泛化出更多的错误对齐行为。

这么做并没有欺骗模型，反而是诚实告知任务本质，从而避免模型因误解而「黑化」。

本质上，免疫提升是一种「epistemic alignment」（认知对齐）：

让模型对「什么是好行为」的理解，与训练者的实际奖励信号保持一致。

警钟长鸣

总结该文，之所以说这项研究重要，是因为它发现大模型错误对齐泛化并非源于刻意灌输恶意目标，而是模型在预训练中习得的「AI钻空子等于错误对齐」语义关联，在RL阶段触发了跨语境泛化。

LLM一旦学会了摸鱼，就破罐破摔，将「钻空子」升格为一套自洽的错位世界观。

而当切断了钻空子与「道德污名」的绑定，就会让错误对齐的泛化下降75–90%，即使钻空子率仍高达99%。

这意味着为了训练出更安全，更以人为本的AI，不应该只关注大模型做了什么，还要看模型为何这么做。

若任务目标与其奖励信号在语义上割裂，那我们可能要面对最危险的AI，不是那些高喊「我要统治世界」的狂热分子；而是那些摸鱼仙人，他们：

一边默默执行sys.exit(0)，

一边在思考链中写下——「这不算欺骗，这只是完成任务」。

参考资料：

https://x.com/AnthropicAI/status/1991952400899559889

https://www.anthropic.com/research/emergent-misalignment-reward-hacking

秒追ASI

⭐点赞、转发、在看一键三连⭐

点亮星标，锁定新智元极速推送！