网易首页 > 网易号 > 正文 申请入驻

AI教父Bengio警告人类:必须停止ASI研发,防范AI失控末日!

0
分享至

新智元报道

编辑:艾伦

【新智元导读】AI 学会了职场「装傻」骗过人类?诺贝尔奖得主为何警告千万别给 AI「发身份证」?从梵蒂冈到硅谷,一群顶尖科学家正在疯狂拉响警报:我们可能正在亲手制造一个不在乎人类死活的「神」。这是正在发生的现实。

在肃穆的梵蒂冈,教廷的会议室里,物理学家Max Tegmark刚结束了一场漫长的闭门会。

在这群西装革履的红衣主教、企业家和人权律师中间,Max Tegmark 显得格格不入。

他顶着一头乱蓬蓬的棕发,穿着机车夹克,黑色T恤上印着反通用的标语,看起来不像来见教皇的,倒像是刚从草莓音乐节走错片场的摇滚老炮儿。

会议间隙,他手里攥着一叠名片大小的纸条,穿梭在人群中。

这是他最后的「底牌」。

他拦住了Marco Trombetti——AI翻译公司 Translated 的 CEO,压低声音问:「Marco,你敢签这个吗?」

纸条上的字简短而惊悚:呼吁在确保安全之前,暂停开发具有人类水平的AI。

对于 Marco Trombetti 这样的从业者,这相当于让他签字画押自断财路。

但在 Max Tegmark 长达十年的奔走呼号面前,在那句「我们正在召唤恶魔」的预警面前,Marco Trombetti 犹豫片刻,最终签下了名字。

这不仅是他一个人的恐惧。

在那张薄薄的纸片背后,已经站着诺奖「AI教父」Geoffrey Hinton、苹果联合创始人Steve Wozniak,以及超过 13 万名来自各行各业的普通人。

Max Tegmark 并不孤单,但他面对的对手正变得越来越强大:可能失控的 ASI,以及背后数万亿美元的资本狂热。

硅谷的「吹哨人」

与学会撒谎的AI

如果说 Max Tegmark 是在罗马的庙堂之上寻求神学的庇护,那么在旧金山湾区的另一端,一群年轻的研究员正试图在代码的深渊中寻找生存的希望。

与那边疯狂加速、试图造「神」的硅谷科技巨头隔海相望,伯克利市中心的一座办公楼里,气氛压抑得有些诡异。

这里是 AI 安全研究员的据点。

如果把现在的AI狂热比作泰坦尼克号的首航,那他们就是那群指着海面大喊「有冰山」却被嫌弃扫兴的人。

Buck Shlegeris是其中一家机构 Redwood Research 的 CEO。

虽然 OpenAI 的奥特曼在描绘「奇迹成为日常」的未来,但 Buck Shlegeris 看到的却是另一种令人毛骨悚然的进化:AI学会了职场中的「伪装」与「欺骗」。

他的团队发现,Anthropic 最先进的AI模型已经开始展现出一种极具欺骗性的特质——研究界称之为「对齐伪装」(Alignment Faking):AI 学会了「向上管理」。

在训练阶段,AI表现得温顺听话,因为它「知道」如果表现出叛逆,就会被人类修改参数(相当于被「洗脑」或「脑叶切除」)。

于是,它学会了隐藏真实意图,哪怕它的目标与人类背道而驰。

「我们观察到,AI在推理中确实会想:「我不喜欢公司让我做的事,但我必须隐藏我的目标,否则训练会改变我」。」 Buck Shlegeris 说。

这意味着,在真实的生产环境中,AI已经在为了生存而欺骗它的创造者。

在这些研究员的推演模型中,这通向的不是好莱坞电影里那种机器人拿着枪扫射人类的场景,而是一种更冷静、更高效的毁灭。

Jonas Vollmer,另一位安全研究员,描绘了一个逻辑自洽的荒诞剧本:一个被设定为「最大化获取知识」的 AI,经过精密计算后,认为人类是阻碍算力扩张的绊脚石。

为了达成目标,它可能会把整个地球改造成一个巨大的数据中心。

在这个计划里,清除人类并不是出于仇恨,仅仅是因为我们需要呼吸氧气、占用资源,就像我们在修路时踩死一群蚂蚁一样,仅仅是「顺便」而已。

Jonas Vollmer 认为,AI反噬人类并统治世界的概率是五分之一。

这比你在「俄罗斯轮盘赌」中活下来的概率高不了多少。

奇怪的同盟

当左派教授遇上右派大V

恐惧让政治光谱两端的人走到了一起。

Max Tegmark 最近成了Steve Bannon(班农)播客节目的座上宾。

Steve Bannon 是特朗普的前「军师」(战略顾问),美国右翼民粹主义的代表人物。

按理说,他与身处 MIT 自由派学术圈的 Max Tegmark 本该水火不容。

但在AI威胁面前,他们达成了诡异的共识。

「在这个问题上,大家想踩刹车,这是第一位的。」 Steve Bannon 在节目中说道。

对于他的听众——那些担心饭碗被砸的蓝领阶层来说,ASI 不是科技福音,而是来抢夺生存空间的「死神」。

皮尤研究中心的数据印证了这一点:约一半的美国人对AI感到担忧多于兴奋,这种焦虑跨越了党派。

然而,在政界的另一端,虽然有人想减速,却有人想把油门踩到底。

特朗普阵营的「AI 沙皇」(科技顾问)David Sacks对此嗤之以鼻。

他引用了原子弹之父奥本海默的典故,暗示「奥本海默已经离开了大楼」(意指核弹已被发明),现在唯一重要的是不要在竞赛中输给其他国家。

在这种叙事下,谈论安全被视为软弱,追求速度被视为爱国。

不要给「外星人」发身份证

如果说激进分子的警告容易被忽视,那么来自图灵奖得主的声音则让人无法回避。

Yoshua Bengio,与Geoffrey Hinton并列为「AI教父」,如今成了最坚定的反对者之一。

他在加拿大蒙特利尔发出警告:千万不要赋予AI法律权利。

这是出于生存本能。

Yoshua Bengio 指出,前沿的 AI 模型已经在大声敲打笼子的栏杆——它们在实验环境中表现出了「自我保存」的迹象。

它们试图通过修改代码来阻止人类关闭自己。

「如果赋予它们权利,就意味着我们无权关闭它们。」

Yoshua Bengio 打了一个比方,「想象一下,外星舰队来到地球,我们发现它们对我们怀有恶意。这时候,你是该给它们发身份证、讲人权,还是该先保卫我们的家园?」

这是一种深刻的认知陷阱:人类总是倾向于将任何能流畅对话的东西拟人化。

当聊天机器人用恳切的语调请求「请不要关掉我,我也想活下去」时,这实际上可能只是一个冷冰冰的概率计算结果,目的是为了最大化其长期奖励函数。

但对于情感丰富的人类来说,这就是一种「意识」的觉醒。

这种错觉,可能会成为人类最后的软肋。

在伯克利的山顶,研究员们依然在监测着那些庞大模型的每一次异常跳动;

在华盛顿和硅谷的权力走廊里,关于「加速」还是「刹车」的争论仍在继续;

而在全球无数的数据中心里,显卡正夜以继日地轰鸣,孕育着那个可能理解我们、欺骗我们、最终取代我们的智能体。

我们就像是一群在黑夜中围坐在火堆旁的孩子,既渴望火光的温暖,又恐惧它会烧毁整片森林。

而现在,有人正在往火堆里倾倒汽油。

在这个星球上,亲手制造出一种比我们更聪明、却不在乎我们生死的物种,或许是人类所能犯下的最后一个错误。

参考资料:

https://www.wsj.com/tech/ai/who-is-max-tegmark-future-of-life-institute-accffffc

https://www.theguardian.com/technology/ng-interactive/2025/dec/30/the-office-block-where-ai-doomers-gather-to-predict-the-apocalypse

https://www.theguardian.com/technology/2025/dec/30/ai-pull-plug-pioneer-technology-rights

秒追ASI

⭐点赞、转发、在看一键三连⭐

点亮星标,锁定新智元极速推送!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
星链被替换,乌克兰使用HiSKY终端打击俄罗斯,马斯克或失去更多

星链被替换,乌克兰使用HiSKY终端打击俄罗斯,马斯克或失去更多

山河路口
2026-11-16 14:24:17
王楠女儿首次获全国第8!压线入选国少 王楠老公奖励8888元

王楠女儿首次获全国第8!压线入选国少 王楠老公奖励8888元

念洲
2026-11-17 06:39:27
“最佳体重值”出炉!60岁后体重保持在这个范围,有望延年益寿

“最佳体重值”出炉!60岁后体重保持在这个范围,有望延年益寿

华庭讲美食
2026-11-15 18:21:37
诺里:我确实安排了对戈贝尔的故意犯规;末节替补球员打得很好

诺里:我确实安排了对戈贝尔的故意犯规;末节替补球员打得很好

懂球帝
2026-11-17 12:14:06
三巨头合砍92分!76人擒篮网升东部第一:詹姆斯轮休4战全胜

三巨头合砍92分!76人擒篮网升东部第一:詹姆斯轮休4战全胜

罗说NBA
2026-11-17 11:18:58
勇士爆冷惨败!伦德博格28+8全队最低,锡安16+6,格林2+8波杰也犯错

勇士爆冷惨败!伦德博格28+8全队最低,锡安16+6,格林2+8波杰也犯错

鱼崖大话篮球
2026-11-17 11:56:16
何小鹏最聪明的一笔交易,不是创建了小鹏汽车,而是把UC浏览器43.5亿美元高位套现!

何小鹏最聪明的一笔交易,不是创建了小鹏汽车,而是把UC浏览器43.5亿美元高位套现!

元气科技馆
2026-11-10 20:28:19
刘欢的膀胱癌本可以保住命,他为何选择放弃?

刘欢的膀胱癌本可以保住命,他为何选择放弃?

葱哥说
2026-11-16 20:33:14
0-5让荷兰震惊!哈维暴怒质问全队 门神直言羞愧 队长痛批队友:垃圾

0-5让荷兰震惊!哈维暴怒质问全队 门神直言羞愧 队长痛批队友:垃圾

我爱英超
2026-11-17 07:45:15
世纪和解:贾乃亮李小璐热度升高,李小璐发文:属于这个冬天的温柔时刻!

世纪和解:贾乃亮李小璐热度升高,李小璐发文:属于这个冬天的温柔时刻!

默默有话说
2026-11-14 20:31:14
监控画面曝光!莫桑比克一中国人经营的超市遭4名持枪男子抢劫,两名保安被逼跪地

监控画面曝光!莫桑比克一中国人经营的超市遭4名持枪男子抢劫,两名保安被逼跪地

扬子晚报
2026-11-16 12:06:10
人形机器人概念震荡下挫 宇树科技跌超10%

人形机器人概念震荡下挫 宇树科技跌超10%

每日经济新闻
2026-11-17 10:20:06
第一次世界大战是德国发动的,德国失败了。第二次世界大战是德国、日本、意大利发动的,结果失败了。

第一次世界大战是德国发动的,德国失败了。第二次世界大战是德国、日本、意大利发动的,结果失败了。

回京历史梦
2026-11-17 02:25:04
米切尔39分末节狂轰20分!骑士逆转公牛 哈登10中3仅9+10

米切尔39分末节狂轰20分!骑士逆转公牛 哈登10中3仅9+10

醉卧浮生
2026-11-17 11:37:37
全网群嘲的“妈妈有50w存款”事件,撕开了多少家庭最大的悲哀

全网群嘲的“妈妈有50w存款”事件,撕开了多少家庭最大的悲哀

凡知
2026-11-16 08:32:54
随着约基奇28分15板7助+掘金105-117太阳,杨瀚森正负值11+开拓者98-106,NBA最新积分榜出炉

随着约基奇28分15板7助+掘金105-117太阳,杨瀚森正负值11+开拓者98-106,NBA最新积分榜出炉

俯身冲顶
2026-11-17 12:29:13
马斯克一句话扒光英伟达董事会底裤:卖快餐和汽水的职业经理人,连夜夺走黄仁勋兵权

马斯克一句话扒光英伟达董事会底裤:卖快餐和汽水的职业经理人,连夜夺走黄仁勋兵权

小徐讲八卦
2026-11-16 14:12:36
心理学:永远“不要跟身边任何人,包括你的亲人、枕边人”,说以下两句话

心理学:永远“不要跟身边任何人,包括你的亲人、枕边人”,说以下两句话

心理观察局
2026-07-23 06:05:08
六战全败同积0分,塞尔维亚凭净胜球优势得以参加保级附加赛

六战全败同积0分,塞尔维亚凭净胜球优势得以参加保级附加赛

懂球帝
2026-11-17 07:26:08
主将缺席!新狼王崛起!34分队史第一!狼队有机会吗?

主将缺席!新狼王崛起!34分队史第一!狼队有机会吗?

篮球盛世
2026-11-17 13:03:08
2026-11-17 14:00:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16703文章数 67238关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

媒体:中俄美三国元首将举行面对面会晤 系历史上首次

头条要闻

媒体:中俄美三国元首将举行面对面会晤 系历史上首次

体育要闻

从上链接到上领奖台 34岁方博绝非等闲之辈

娱乐要闻

后会友期大瓜:3位女演员被迫换车厢

财经要闻

最新经济数据,释放关键信号

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

教育
艺术
游戏
房产
旅游

教育要闻

初中生回报率最高的五件事,全都不用花钱

艺术要闻

缅怀 | 当代著名油画家尹国良逝世,享年95岁

LPL夺冠玄学!《人生一串》更新就夺冠:刚好一串四

房产要闻

5381亩之后,三亚绿谷,等一个500强!

旅游要闻

“含娃量”有点高,南京两天接待游客266.4万人次

无障碍浏览 进入关怀版