网易首页 > 网易号 > 正文 申请入驻

AI教父Bengio警告人类:必须停止ASI研发,防范AI失控末日!

0
分享至

新智元报道

编辑:艾伦

【新智元导读】AI 学会了职场「装傻」骗过人类?诺贝尔奖得主为何警告千万别给 AI「发身份证」?从梵蒂冈到硅谷,一群顶尖科学家正在疯狂拉响警报:我们可能正在亲手制造一个不在乎人类死活的「神」。这是正在发生的现实。

在肃穆的梵蒂冈,教廷的会议室里,物理学家Max Tegmark刚结束了一场漫长的闭门会。

在这群西装革履的红衣主教、企业家和人权律师中间,Max Tegmark 显得格格不入。

他顶着一头乱蓬蓬的棕发,穿着机车夹克,黑色T恤上印着反通用的标语,看起来不像来见教皇的,倒像是刚从草莓音乐节走错片场的摇滚老炮儿。

会议间隙,他手里攥着一叠名片大小的纸条,穿梭在人群中。

这是他最后的「底牌」。

他拦住了Marco Trombetti——AI翻译公司 Translated 的 CEO,压低声音问:「Marco,你敢签这个吗?」

纸条上的字简短而惊悚:呼吁在确保安全之前,暂停开发具有人类水平的AI。

对于 Marco Trombetti 这样的从业者,这相当于让他签字画押自断财路。

但在 Max Tegmark 长达十年的奔走呼号面前,在那句「我们正在召唤恶魔」的预警面前,Marco Trombetti 犹豫片刻,最终签下了名字。

这不仅是他一个人的恐惧。

在那张薄薄的纸片背后,已经站着诺奖「AI教父」Geoffrey Hinton、苹果联合创始人Steve Wozniak,以及超过 13 万名来自各行各业的普通人。

Max Tegmark 并不孤单,但他面对的对手正变得越来越强大:可能失控的 ASI,以及背后数万亿美元的资本狂热。

硅谷的「吹哨人」

与学会撒谎的AI

如果说 Max Tegmark 是在罗马的庙堂之上寻求神学的庇护,那么在旧金山湾区的另一端,一群年轻的研究员正试图在代码的深渊中寻找生存的希望。

与那边疯狂加速、试图造「神」的硅谷科技巨头隔海相望,伯克利市中心的一座办公楼里,气氛压抑得有些诡异。

这里是 AI 安全研究员的据点。

如果把现在的AI狂热比作泰坦尼克号的首航,那他们就是那群指着海面大喊「有冰山」却被嫌弃扫兴的人。

Buck Shlegeris是其中一家机构 Redwood Research 的 CEO。

虽然 OpenAI 的奥特曼在描绘「奇迹成为日常」的未来,但 Buck Shlegeris 看到的却是另一种令人毛骨悚然的进化:AI学会了职场中的「伪装」与「欺骗」。

他的团队发现,Anthropic 最先进的AI模型已经开始展现出一种极具欺骗性的特质——研究界称之为「对齐伪装」(Alignment Faking):AI 学会了「向上管理」。

在训练阶段,AI表现得温顺听话,因为它「知道」如果表现出叛逆,就会被人类修改参数(相当于被「洗脑」或「脑叶切除」)。

于是,它学会了隐藏真实意图,哪怕它的目标与人类背道而驰。

「我们观察到,AI在推理中确实会想:「我不喜欢公司让我做的事,但我必须隐藏我的目标,否则训练会改变我」。」 Buck Shlegeris 说。

这意味着,在真实的生产环境中,AI已经在为了生存而欺骗它的创造者。

在这些研究员的推演模型中,这通向的不是好莱坞电影里那种机器人拿着枪扫射人类的场景,而是一种更冷静、更高效的毁灭。

Jonas Vollmer,另一位安全研究员,描绘了一个逻辑自洽的荒诞剧本:一个被设定为「最大化获取知识」的 AI,经过精密计算后,认为人类是阻碍算力扩张的绊脚石。

为了达成目标,它可能会把整个地球改造成一个巨大的数据中心。

在这个计划里,清除人类并不是出于仇恨,仅仅是因为我们需要呼吸氧气、占用资源,就像我们在修路时踩死一群蚂蚁一样,仅仅是「顺便」而已。

Jonas Vollmer 认为,AI反噬人类并统治世界的概率是五分之一。

这比你在「俄罗斯轮盘赌」中活下来的概率高不了多少。

奇怪的同盟

当左派教授遇上右派大V

恐惧让政治光谱两端的人走到了一起。

Max Tegmark 最近成了Steve Bannon(班农)播客节目的座上宾。

Steve Bannon 是特朗普的前「军师」(战略顾问),美国右翼民粹主义的代表人物。

按理说,他与身处 MIT 自由派学术圈的 Max Tegmark 本该水火不容。

但在AI威胁面前,他们达成了诡异的共识。

「在这个问题上,大家想踩刹车,这是第一位的。」 Steve Bannon 在节目中说道。

对于他的听众——那些担心饭碗被砸的蓝领阶层来说,ASI 不是科技福音,而是来抢夺生存空间的「死神」。

皮尤研究中心的数据印证了这一点:约一半的美国人对AI感到担忧多于兴奋,这种焦虑跨越了党派。

然而,在政界的另一端,虽然有人想减速,却有人想把油门踩到底。

特朗普阵营的「AI 沙皇」(科技顾问)David Sacks对此嗤之以鼻。

他引用了原子弹之父奥本海默的典故,暗示「奥本海默已经离开了大楼」(意指核弹已被发明),现在唯一重要的是不要在竞赛中输给其他国家。

在这种叙事下,谈论安全被视为软弱,追求速度被视为爱国。

不要给「外星人」发身份证

如果说激进分子的警告容易被忽视,那么来自图灵奖得主的声音则让人无法回避。

Yoshua Bengio,与Geoffrey Hinton并列为「AI教父」,如今成了最坚定的反对者之一。

他在加拿大蒙特利尔发出警告:千万不要赋予AI法律权利。

这是出于生存本能。

Yoshua Bengio 指出,前沿的 AI 模型已经在大声敲打笼子的栏杆——它们在实验环境中表现出了「自我保存」的迹象。

它们试图通过修改代码来阻止人类关闭自己。

「如果赋予它们权利,就意味着我们无权关闭它们。」

Yoshua Bengio 打了一个比方,「想象一下,外星舰队来到地球,我们发现它们对我们怀有恶意。这时候,你是该给它们发身份证、讲人权,还是该先保卫我们的家园?」

这是一种深刻的认知陷阱:人类总是倾向于将任何能流畅对话的东西拟人化。

当聊天机器人用恳切的语调请求「请不要关掉我,我也想活下去」时,这实际上可能只是一个冷冰冰的概率计算结果,目的是为了最大化其长期奖励函数。

但对于情感丰富的人类来说,这就是一种「意识」的觉醒。

这种错觉,可能会成为人类最后的软肋。

在伯克利的山顶,研究员们依然在监测着那些庞大模型的每一次异常跳动;

在华盛顿和硅谷的权力走廊里,关于「加速」还是「刹车」的争论仍在继续;

而在全球无数的数据中心里,显卡正夜以继日地轰鸣,孕育着那个可能理解我们、欺骗我们、最终取代我们的智能体。

我们就像是一群在黑夜中围坐在火堆旁的孩子,既渴望火光的温暖,又恐惧它会烧毁整片森林。

而现在,有人正在往火堆里倾倒汽油。

在这个星球上,亲手制造出一种比我们更聪明、却不在乎我们生死的物种,或许是人类所能犯下的最后一个错误。

参考资料:

https://www.wsj.com/tech/ai/who-is-max-tegmark-future-of-life-institute-accffffc

https://www.theguardian.com/technology/ng-interactive/2025/dec/30/the-office-block-where-ai-doomers-gather-to-predict-the-apocalypse

https://www.theguardian.com/technology/2025/dec/30/ai-pull-plug-pioneer-technology-rights

秒追ASI

⭐点赞、转发、在看一键三连⭐

点亮星标,锁定新智元极速推送!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国苹果公司发生大规模网络技术故障,导致应用商店、云服务及支付等多项服务受到影响

美国苹果公司发生大规模网络技术故障,导致应用商店、云服务及支付等多项服务受到影响

极目新闻
2026-11-18 09:30:33
乌方称炸毁克里米亚大桥超270米桥面,一座钢拱坠海,“火烈鸟”导弹击中铁路桥

乌方称炸毁克里米亚大桥超270米桥面,一座钢拱坠海,“火烈鸟”导弹击中铁路桥

桂系007
2026-11-17 23:22:16
东莞一高中被指高三考试太多,教育局:已指导学校优化考试安排

东莞一高中被指高三考试太多,教育局:已指导学校优化考试安排

次元君情感
2026-11-18 04:40:27
中国芯片能否在5到10年内赶上美国?英特尔CEO表示:差距没那么大

中国芯片能否在5到10年内赶上美国?英特尔CEO表示:差距没那么大

林子说事
2026-11-17 07:18:15
APEC现场丨澎湃新闻直击各经济体领导人陆续抵达深圳

APEC现场丨澎湃新闻直击各经济体领导人陆续抵达深圳

澎湃新闻
2026-11-18 12:08:37
马斯克曾预言:接下来全世界将面临一场危机,或只有中国是个例外

马斯克曾预言:接下来全世界将面临一场危机,或只有中国是个例外

瓦伦西亚月亮
2026-11-18 13:48:08
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
“反华妖女”许可馨,回国后曾叫嚣没人敢动她,六年后下场如何?

“反华妖女”许可馨,回国后曾叫嚣没人敢动她,六年后下场如何?

锅锅爱历史
2026-07-26 08:50:12
8-0!波切蒂诺结束美国队执教生涯,正式上任曼联新帅,1天后带队

8-0!波切蒂诺结束美国队执教生涯,正式上任曼联新帅,1天后带队

念洲
2026-11-18 10:23:32
上海一女子考研被博士丈夫家暴,忍无可忍报警,才知丈夫真实身份

上海一女子考研被博士丈夫家暴,忍无可忍报警,才知丈夫真实身份

清茶浅谈
2025-03-30 00:29:00
1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

唠叨说历史
2026-11-11 13:38:14
一位八十岁民营企业家,和三亚一块悬了七年的地

一位八十岁民营企业家,和三亚一块悬了七年的地

风雷观察
2026-11-18 10:14:05
“慰安椅”根本不是椅子,是把每个年轻姑娘活生生碾碎的吃人机器

“慰安椅”根本不是椅子,是把每个年轻姑娘活生生碾碎的吃人机器

千秋文化
2026-09-22 19:32:48
APEC期间特朗普与普京将在中国会见金正恩?外交部回应

APEC期间特朗普与普京将在中国会见金正恩?外交部回应

澎湃新闻
2026-11-17 16:23:54
美媒:中国将世界最先进坦克技术,放到老式VT-4坦克上,能自动打无人机和武装直升机

美媒:中国将世界最先进坦克技术,放到老式VT-4坦克上,能自动打无人机和武装直升机

蓝星杂谈
2026-11-17 17:56:29
房地产一旦撑不住,明年国内房价或许会碰到三个大难题 卖房救急的人,得先借钱救急

房地产一旦撑不住,明年国内房价或许会碰到三个大难题 卖房救急的人,得先借钱救急

新国学文化
2026-11-17 11:36:37
篮球女神官宣离婚!千字长文炮轰丈夫,没出轨没家暴,终败给现实

篮球女神官宣离婚!千字长文炮轰丈夫,没出轨没家暴,终败给现实

喜欢历史的阿繁
2026-11-18 13:39:51
管培生、AI训练师包装骗局,2027届秋招黑产伪装越来越逼真

管培生、AI训练师包装骗局,2027届秋招黑产伪装越来越逼真

新京报
2026-11-17 12:24:04
挤走董卿、靠爹上位、隐婚生子?“央视才女”龙洋 私生活真相曝光

挤走董卿、靠爹上位、隐婚生子?“央视才女”龙洋 私生活真相曝光

手工制作阿歼
2026-11-16 17:58:38
风向都变了!以美国为首的多国认为:中国已在换电等关键领域崛起

风向都变了!以美国为首的多国认为:中国已在换电等关键领域崛起

离离言几许
2026-11-17 03:25:54
2026-11-18 14:36:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16709文章数 67239关注度
往期回顾 全部

科技要闻

OPPO Reno17:手机背后竟然藏了只“喵”?

头条要闻

蒙古国总统突然辞职:被喻为"蒙古版普京" 是宠妻狂魔

头条要闻

蒙古国总统突然辞职:被喻为"蒙古版普京" 是宠妻狂魔

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

认亲被嘲讽后郭德纲委托律师发声明

财经要闻

回归英伟达,黄仁勋要先“干掉董事会”

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
时尚
艺术
公开课
军事航空

教育要闻

义教信息科技教学实施 | “身边的算法”模块-算法的效率(1)

西北最贵专列?从西宁到敦煌的“丝路梦享列车”到底值不值?

艺术要闻

国际名家镜头里的绝美人像,越看越惊艳,第几张美到你?

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版