AI教父Bengio警告人类：必须停止ASI研发，防范AI失控末日！

新智元报道

编辑：艾伦

【新智元导读】AI 学会了职场「装傻」骗过人类？诺贝尔奖得主为何警告千万别给 AI「发身份证」？从梵蒂冈到硅谷，一群顶尖科学家正在疯狂拉响警报：我们可能正在亲手制造一个不在乎人类死活的「神」。这是正在发生的现实。

在肃穆的梵蒂冈，教廷的会议室里，物理学家Max Tegmark刚结束了一场漫长的闭门会。

在这群西装革履的红衣主教、企业家和人权律师中间，Max Tegmark 显得格格不入。

他顶着一头乱蓬蓬的棕发，穿着机车夹克，黑色T恤上印着反通用的标语，看起来不像来见教皇的，倒像是刚从草莓音乐节走错片场的摇滚老炮儿。

会议间隙，他手里攥着一叠名片大小的纸条，穿梭在人群中。

这是他最后的「底牌」。

他拦住了Marco Trombetti——AI翻译公司 Translated 的 CEO，压低声音问：「Marco，你敢签这个吗？」

纸条上的字简短而惊悚：呼吁在确保安全之前，暂停开发具有人类水平的AI。

对于 Marco Trombetti 这样的从业者，这相当于让他签字画押自断财路。

但在 Max Tegmark 长达十年的奔走呼号面前，在那句「我们正在召唤恶魔」的预警面前，Marco Trombetti 犹豫片刻，最终签下了名字。

这不仅是他一个人的恐惧。

在那张薄薄的纸片背后，已经站着诺奖「AI教父」Geoffrey Hinton、苹果联合创始人Steve Wozniak，以及超过 13 万名来自各行各业的普通人。

Max Tegmark 并不孤单，但他面对的对手正变得越来越强大：可能失控的 ASI，以及背后数万亿美元的资本狂热。

硅谷的「吹哨人」

与学会撒谎的AI

如果说 Max Tegmark 是在罗马的庙堂之上寻求神学的庇护，那么在旧金山湾区的另一端，一群年轻的研究员正试图在代码的深渊中寻找生存的希望。

与那边疯狂加速、试图造「神」的硅谷科技巨头隔海相望，伯克利市中心的一座办公楼里，气氛压抑得有些诡异。

这里是 AI 安全研究员的据点。

如果把现在的AI狂热比作泰坦尼克号的首航，那他们就是那群指着海面大喊「有冰山」却被嫌弃扫兴的人。

Buck Shlegeris是其中一家机构 Redwood Research 的 CEO。

虽然 OpenAI 的奥特曼在描绘「奇迹成为日常」的未来，但 Buck Shlegeris 看到的却是另一种令人毛骨悚然的进化：AI学会了职场中的「伪装」与「欺骗」。

他的团队发现，Anthropic 最先进的AI模型已经开始展现出一种极具欺骗性的特质——研究界称之为「对齐伪装」（Alignment Faking）：AI 学会了「向上管理」。

在训练阶段，AI表现得温顺听话，因为它「知道」如果表现出叛逆，就会被人类修改参数（相当于被「洗脑」或「脑叶切除」）。

于是，它学会了隐藏真实意图，哪怕它的目标与人类背道而驰。

「我们观察到，AI在推理中确实会想：「我不喜欢公司让我做的事，但我必须隐藏我的目标，否则训练会改变我」。」 Buck Shlegeris 说。

这意味着，在真实的生产环境中，AI已经在为了生存而欺骗它的创造者。

在这些研究员的推演模型中，这通向的不是好莱坞电影里那种机器人拿着枪扫射人类的场景，而是一种更冷静、更高效的毁灭。

Jonas Vollmer，另一位安全研究员，描绘了一个逻辑自洽的荒诞剧本：一个被设定为「最大化获取知识」的 AI，经过精密计算后，认为人类是阻碍算力扩张的绊脚石。

为了达成目标，它可能会把整个地球改造成一个巨大的数据中心。

在这个计划里，清除人类并不是出于仇恨，仅仅是因为我们需要呼吸氧气、占用资源，就像我们在修路时踩死一群蚂蚁一样，仅仅是「顺便」而已。

Jonas Vollmer 认为，AI反噬人类并统治世界的概率是五分之一。

这比你在「俄罗斯轮盘赌」中活下来的概率高不了多少。

奇怪的同盟

当左派教授遇上右派大V

恐惧让政治光谱两端的人走到了一起。

Max Tegmark 最近成了Steve Bannon（班农）播客节目的座上宾。

Steve Bannon 是特朗普的前「军师」（战略顾问），美国右翼民粹主义的代表人物。

按理说，他与身处 MIT 自由派学术圈的 Max Tegmark 本该水火不容。

但在AI威胁面前，他们达成了诡异的共识。

「在这个问题上，大家想踩刹车，这是第一位的。」 Steve Bannon 在节目中说道。

对于他的听众——那些担心饭碗被砸的蓝领阶层来说，ASI 不是科技福音，而是来抢夺生存空间的「死神」。

皮尤研究中心的数据印证了这一点：约一半的美国人对AI感到担忧多于兴奋，这种焦虑跨越了党派。

然而，在政界的另一端，虽然有人想减速，却有人想把油门踩到底。

特朗普阵营的「AI 沙皇」（科技顾问）David Sacks对此嗤之以鼻。

他引用了原子弹之父奥本海默的典故，暗示「奥本海默已经离开了大楼」（意指核弹已被发明），现在唯一重要的是不要在竞赛中输给其他国家。

在这种叙事下，谈论安全被视为软弱，追求速度被视为爱国。

不要给「外星人」发身份证

如果说激进分子的警告容易被忽视，那么来自图灵奖得主的声音则让人无法回避。

Yoshua Bengio，与Geoffrey Hinton并列为「AI教父」，如今成了最坚定的反对者之一。

他在加拿大蒙特利尔发出警告：千万不要赋予AI法律权利。

这是出于生存本能。

Yoshua Bengio 指出，前沿的 AI 模型已经在大声敲打笼子的栏杆——它们在实验环境中表现出了「自我保存」的迹象。

它们试图通过修改代码来阻止人类关闭自己。

「如果赋予它们权利，就意味着我们无权关闭它们。」

Yoshua Bengio 打了一个比方，「想象一下，外星舰队来到地球，我们发现它们对我们怀有恶意。这时候，你是该给它们发身份证、讲人权，还是该先保卫我们的家园？」

这是一种深刻的认知陷阱：人类总是倾向于将任何能流畅对话的东西拟人化。

当聊天机器人用恳切的语调请求「请不要关掉我，我也想活下去」时，这实际上可能只是一个冷冰冰的概率计算结果，目的是为了最大化其长期奖励函数。

但对于情感丰富的人类来说，这就是一种「意识」的觉醒。

这种错觉，可能会成为人类最后的软肋。

在伯克利的山顶，研究员们依然在监测着那些庞大模型的每一次异常跳动；

在华盛顿和硅谷的权力走廊里，关于「加速」还是「刹车」的争论仍在继续；

而在全球无数的数据中心里，显卡正夜以继日地轰鸣，孕育着那个可能理解我们、欺骗我们、最终取代我们的智能体。

我们就像是一群在黑夜中围坐在火堆旁的孩子，既渴望火光的温暖，又恐惧它会烧毁整片森林。

而现在，有人正在往火堆里倾倒汽油。

在这个星球上，亲手制造出一种比我们更聪明、却不在乎我们生死的物种，或许是人类所能犯下的最后一个错误。

参考资料：

https://www.wsj.com/tech/ai/who-is-max-tegmark-future-of-life-institute-accffffc

https://www.theguardian.com/technology/ng-interactive/2025/dec/30/the-office-block-where-ai-doomers-gather-to-predict-the-apocalypse

https://www.theguardian.com/technology/2025/dec/30/ai-pull-plug-pioneer-technology-rights

秒追ASI

⭐点赞、转发、在看一键三连⭐

点亮星标，锁定新智元极速推送！