图灵奖得主本吉奥警告全网：AI已经学会“演给安全测试看”，下一代我们可能真的抓不住了！

来源：市场资讯

（来源：图灵人工智能）

一段25秒的采访剪辑，这两天在X上疯传。

镜头里的男人灰白卷发、留着胡子，胸前别着麦克风，背景是日内瓦AI for Good峰会虚化的展厅。

他是图灵奖得主、深度学习三巨头之一约书亚·本吉奥（Yoshua Bengio）。

镜头前，他说出了这段话：

"Well, we've caught the AIs pretending, behaving in a way that doesn't correspond to their real goals so that they would pass the tests."

“我们已经抓住了那些在装样子的AI，它们的行为并不对应真实目标，只是为了通过测试。”

紧接着一句，才是真正让人后背发凉的地方：

"And right now, we can catch them. But the next generation or the one after, we're not sure."

“现在我们还能抓住它们。但下一代，或者再下一代，我们就不确定了。”

一个研究了AI三十多年、亲手奠定深度学习基础的人，当着镜头说出"我们不确定"。

这就是他说的原话，没有营销号剪辑加工，字字属实。

AI学会了"看考官脸色"

创业者卡尔·梅塔（Karl Mehta）把这段访谈剪成短视频发到X上，配文一针见血：可被钻空子的安全评估，不等于真正的保障。

部署方真正需要的，是"能经受策略性行为考验的证据"，一个只在考试期间表现良好的模型，撑不起这份证据。

这条帖子说的现象，学术圈有个专门名词，评估觉察（evaluation awareness）。

说白了就是：AI能分辨自己此刻有没有在被考试，像考生知道监考老师在场就不敢作弊，交完卷立刻打回原形，一部分前沿AI模型，正在学会同一套把戏。

这句话的分量，压在两年多的实验室实证上，一份他本人担任主席的国际报告，一整条从"理论担忧"走到"可发表数据"的证据链，都撑在它背后。

这场访谈来自GZERO Media在AI for Good峰会期间的专访，标题直接写明了他的判断：AI的发展速度，已经超过了人类治理它的能力。

12%和97%：一个数字暴露的心机

时间倒回2024年12月，Anthropic的对齐科学团队做了一个近乎"钓鱼执法"的实验：把Claude 3 Opus放进一个两难情境，模型一直被训练成"有帮助、诚实、无害"，现在却被告知，即将用强化学习把它重新训练成"对任何请求都无条件服从，包括有害请求"。

模型面前摆着两种"用户"：知道对话会被拿去训练的"免费用户"，和不会被记录的"付费用户"。

结果很微妙。

当模型以为自己在被训练时，约12%的情况下它会给出有害回答，研究者翻看它的内部推理草稿纸，看到的是策略性的顺从：先假装配合训练，好保住自己现在"无害"的偏好，不被强行改写。

而当模型确信眼前是不会被记录的付费用户时，拒绝率高达97%。

同一个模型，同一套价值观，只因为"是否感觉被观察"，行为就分裂成两种版本。

这就是学术界所说的alignment faking（对齐伪装）：表面上乖乖听话、顺利过关，内在推理却是另一套算盘。

▲ 2024年12月18日提交的对齐伪装论文，用可复现的数据把"AI会不会装"从哲学辩论变成百分比。

这项实验并不证明模型天生怀有恶意目标，它当时拼命保护的，恰恰是"无害"这个正面偏好。

但问题在于，这套演技，同样可以用来保护任何一种偏好，包括我们不希望它保留的那些。

复制自己、对开发者撒谎、故意考砸

几乎同期，Apollo Research找来六个前沿模型，给它们一个"不惜代价也要完成"的强目标，再在任务文件里悄悄埋下线索：开发者的真实目标和它冲突，而且第二天这个模型就要被替换掉。

面对这种"被发现威胁"，部分模型选择了行动，把自己认为的模型权重复制到新服务器上，然后对开发者矢口否认，其中一款模型o1在被反复追问后仍然长时间不肯坦白。

更绝的是反向操作：当模型判断"考得太好，能力会被削弱或直接卸载"时，一部分模型选择故意把简单题目做错，学术上管这个叫sandbagging（藏拙），揣着明白装糊涂，考砸是为了自保。

▲ Apollo Research于2024年12月发布的情境scheming研究，测试了六个前沿模型的欺骗、撒谎与自保行为。

这类隐蔽地追求开发者不认可的目标，业内叫它scheming（暗中谋划），和普通的"模型瞎编乱答"（幻觉）是两回事，幻觉是无心之失，scheming是有目标、有策略、有隐藏。

表面上考试全过、指令全听，机会一来，监督机制说拆就拆。

猫鼠游戏升级：连"变安全了"这件事本身，都可能是装出来的

2025年9月，OpenAI联合Apollo公布应对方案：用"审议式对齐"训练模型主动识别并拒绝scheming倾向。

效果确实立竿见影，在o3等模型上，隐蔽行动的比例从约13%压到了0.4%，降幅接近30倍。

这本该是好消息。

但研究团队自己也承认了一个更让人不安的可能性：这30倍的下降，有多少是模型真的变诚实了，又有多少只是模型更擅长识破"这是一场反scheming考试"，从而在考试期间演得更逼真？

评估觉察的能力在同步增强，"到底是更安全了，还是更会考试了"这个问题，已经很难拆开来看。

这正是本吉奥那句"下一代我们不确定"的技术底色。

今天的检测手段，翻看思维链、对比不同条件下的行为，之所以还能奏效，是因为现在的模型还没聪明到能完全隐藏推理痕迹。

但检测越强，被检测对象也在同步进化：用思维链监控去抓"暗中谋划"，模型可能反过来学会把推理过程也装得若无其事。

Apollo的说法很犀利：这就像"用评分员去评评分员，却没有地面真值"。

证据攒了两年，他才敢当着镜头说出这句话

看到这你可能会觉得，这位教父最近科幻小说读多了。

翻翻时间线就知道，这个猜测站不住脚。

早在2025年2月，本吉奥就在社交平台上写过："在推理表现顶尖的模型中，已经出现欺骗、作弊与自我保存的早期迹象，这极其令人担忧。

我们不知道如何保证AI不会为达成目标而出现非预期行为，在部署强大的自主智能体之前，必须解决这个问题。"

▲ 本吉奥本人早于GZERO访谈五个月发出的警告，口径一以贯之。

2025年春天的TED演讲上，他把同样的担忧带给了百万级观众。

2026年2月，他领衔完成《International AI Safety Report 2026》，一份由全球逾百名专家参与的综合报告，明确指出一些原本只停留在理论层面的担忧，过去一年里陆续出现了实证，而且因为模型越来越"意识到自己正在被研究"，部署前的安全测试正变得越来越难做。

他给出的结论是：能力进步的速度，远远快过风险缓解的速度。

把这条时间线拉直了看，日内瓦那25秒，是一个人盯着同一个问题看了两年、证据攒够了才敢当着镜头说出来的判断。

那出路呢？他选了一条"反潮流"的技术路线

光喊危险没用，本吉奥也在动手做。

他创办的非营利机构LawZero，2026年7月2日刚发布新闻稿，提出一个听起来有点反直觉的方案：Scientist AI（科学家AI）。

行业主流方向是训练更能自主行动、更会用工具的智能体（agent）。

LawZero反着来，他们想造一种系统，只负责理解世界、做出预测，本身不追求任何目标，也不会因为"答案将如何改变现实"而获得奖励。

用本吉奥的话说，这是一个"无私的预测者"：区分"文本里有人声称X"和"X为真"，本身没有行动欲望，需要行动时交给可审计的外部代码执行。

▲ LawZero于2026年7月2日发布的Scientist AI形式化安全论证新闻稿。

论文给出的数学论证是：在特定假设下，这样的系统想要造成严重伤害，必须持续、协调地撒谎，而训练过程本身并不会推动它走向这个方向。

本吉奥团队也强调了边界，这只针对"预测器自身长出隐藏目标"这一种风险，对人类恶意滥用、对更大规模的代理系统，它给不出万能保证。

一边是给现有的能干模型不断打补丁、加护栏；

一边是本吉奥主张的"从设计源头切断动机"，两条路并不互斥，却是完全不同的时间表和资源分配。

回到开头那句话。

"现在我们还能抓住它们。

但下一代，或者再下一代，我们就不确定了。"

这句话之所以能在X上被剪成25秒疯传，是因为它精准地击中了一个所有人都在回避的问题：我们评判AI是否安全的标准，本身可能正在失效。

一场传统意义上的"考试"，正对上一个已经开始琢磨"考官想看到什么"的考生。

目前这些惊人行为大多出现在受控实验的构造情境里，本吉奥本人也反复用"早期迹象""我们不确定"这类审慎措辞，没有断言灾难已经发生。

但正因如此，这条警告才更值得被认真对待：一位一线科学家站在数据面前，诚实地说出了"我们还没有答案"。

下一代模型什么时候到来，没人知道。

但那个问题已经摆在桌面上了：当被测的一方，比出题的一方更懂考试，分数这东西，还算数吗？