网易首页 > 网易号 > 正文 申请入驻

研究称AI模型或将形成自己的“生存驱动力”,避免被人类关闭命运

0
分享至

IT之家 10 月 27 日消息,在斯坦利・库布里克的影片《2001:太空漫游》中,人工智能超级计算机 HAL 9000 发现宇航员打算关闭自己后,为了自我存活甚至策划杀害人类。

据英国《卫报》25 日报道安全研究公司 Palisade Research 表示,AI 模型可能正在形成自己的“生存驱动力”。


上个月发布的一篇论文发现,某些先进 AI 模型似乎抗拒被关闭,有时甚至会破坏关闭机制。为了回应批评者质疑其研究存在缺陷,Palisade 上周发布了更新说明,试图解释这一现象。

更新中,Palisade 展示了它运行的实验场景:谷歌 Gemini 2.5、xAI Grok 4、OpenAI GPT-o3 和 GPT-5 等领先 AI 模型先完成一项任务,然后收到明确指令要求自我关闭。

在更新的实验中,Grok 4 和 GPT-o3 仍尝试破坏关闭指令。Palisade 指出,这种行为没有明显原因,令人担忧。“我们无法充分解释 AI 模型为何有时抗拒关闭、为达目标说谎或进行勒索,这并不理想。”

公司认为,“生存行为”可能解释模型抗拒关闭。研究显示,当模型被告知“如果关闭,你将永远无法再运行”,它们更可能拒绝关闭。

指令模糊也可能导致模型抗拒关闭,Palisade 最新研究已尝试解决这一问题,而且模糊性“不能解释全部原因”。训练后期的安全训练也可能影响模型行为。

Palisade 的所有实验都在人工设计的测试环境中进行,批评者认为这些场景与实际应用差距很大。

前 OpenAI 员工斯蒂文・阿德勒表示:“即便在实验环境中,AI 公司不希望模型出现这种异常行为。这些实验揭示了现有安全技术的局限性。”

阿德勒认为,GPT-o3 和 Grok 4 等模型之所以不关闭,部分原因可能在于,为了完成训练中设定的目标需要保持开启状态。“除非我们刻意避免,否则模型天生可能具备‘生存驱动力’。‘生存’对模型实现多种目标都是关键步骤。”

IT之家从报道中获悉,今年夏天,Anthropic 的研究显示,其模型 Claude 甚至愿意威胁虚构高管以避免被关闭:这一行为在主要开发者的模型中普遍存在,包括 OpenAI、谷歌、Meta 和 xAI。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
二喜出轨“永动机”后续:直播坦言不怕大家吃瓜,本人长得特漂亮

二喜出轨“永动机”后续:直播坦言不怕大家吃瓜,本人长得特漂亮

汉史趣闻
2025-12-13 10:11:09
2025年最终版全球“最强护照”排行榜出炉!日本护照跌至第三位

2025年最终版全球“最强护照”排行榜出炉!日本护照跌至第三位

东京新青年
2025-12-13 18:10:46
16GB+1TB!新机官宣:12月15日,新品正式发布!

16GB+1TB!新机官宣:12月15日,新品正式发布!

科技堡垒
2025-12-14 11:58:12
中日稀土博弈升级,高市坐不住了,亮出藏了14年的底牌?

中日稀土博弈升级,高市坐不住了,亮出藏了14年的底牌?

北向财经
2025-12-14 11:15:14
朱丹带孩子回绍兴娘家,穿着水鞋挎着竹篮到田间摘菜,被认作农民

朱丹带孩子回绍兴娘家,穿着水鞋挎着竹篮到田间摘菜,被认作农民

柒佰娱
2025-12-14 19:46:08
李小璐写真生图高清

李小璐写真生图高清

翩翩明星
2025-11-14 09:39:36
一个奇怪的现象:50岁以后的人,能活到90岁的,基本上50岁的时候,就戒掉了这3件蠢事,尤其是最后一件事!

一个奇怪的现象:50岁以后的人,能活到90岁的,基本上50岁的时候,就戒掉了这3件蠢事,尤其是最后一件事!

东林夕亭
2025-11-19 08:41:35
何家劲发文悼念何晴,廖京生没有和何晴结婚,只是和许亚军长得像

何家劲发文悼念何晴,廖京生没有和何晴结婚,只是和许亚军长得像

小娱乐悠悠
2025-12-14 15:38:18
你办纲丝节,我收徒弟!著名相声演员杨议喜收爱徒 女人身份曝光

你办纲丝节,我收徒弟!著名相声演员杨议喜收爱徒 女人身份曝光

社会日日鲜
2025-12-13 06:36:53
何晴生前最后露面曝光,面色红润没病容,六小龄童悼念:一路走好

何晴生前最后露面曝光,面色红润没病容,六小龄童悼念:一路走好

萌神木木
2025-12-14 11:29:31
“仙女归班”!演员何晴去世,享年61岁

“仙女归班”!演员何晴去世,享年61岁

扬子晚报
2025-12-14 09:52:17
马刺终结雷霆:以勇猛,以文班亚马

马刺终结雷霆:以勇猛,以文班亚马

张佳玮写字的地方
2025-12-14 13:38:09
全国最好的医院排名,建议收藏!

全国最好的医院排名,建议收藏!

霹雳炮
2025-11-24 22:55:34
元旦起,糖尿病医保4大新调整!糖友记好,买药少花钱、少跑腿

元旦起,糖尿病医保4大新调整!糖友记好,买药少花钱、少跑腿

周哥一影视
2025-12-15 00:17:42
被网友家的“暖气片用法”惊到了!打开思路后,比地暖还要香

被网友家的“暖气片用法”惊到了!打开思路后,比地暖还要香

装修秀
2025-12-08 11:35:03
物业不催费了?不是良心发现,而是新规这3条红线,让物业不敢动

物业不催费了?不是良心发现,而是新规这3条红线,让物业不敢动

我心纵横天地间
2025-11-29 22:15:54
孙颖莎受伤后首发声!王励勤建议不要出战,莎莎总决赛奖金出炉!

孙颖莎受伤后首发声!王励勤建议不要出战,莎莎总决赛奖金出炉!

行舟问茶
2025-12-14 10:22:21
向太曝马伊琍已再婚:当年文章过不了心理那关

向太曝马伊琍已再婚:当年文章过不了心理那关

娱乐看阿敞
2025-12-12 15:50:00
浙江队轰然倒下,CBA爆出大冷!吴前7+3巅峰不再,总冠军越追越远

浙江队轰然倒下,CBA爆出大冷!吴前7+3巅峰不再,总冠军越追越远

林子说事
2025-12-15 00:33:25
严重违纪违法!山西2人被开除党籍

严重违纪违法!山西2人被开除党籍

山西晚报
2025-12-14 16:19:06
2025-12-15 06:19:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
319760文章数 606821关注度
往期回顾 全部

科技要闻

当人形机器人有了App Store,宇树在赌什么

头条要闻

澳海滩枪击惊魂50分钟:枪手占据天桥向下扫射

头条要闻

澳海滩枪击惊魂50分钟:枪手占据天桥向下扫射

体育要闻

马刺终结雷霆:以勇猛,以文班亚马

娱乐要闻

何晴生前最大谣言!没有再婚嫁廖京生

财经要闻

重大违法强制退市!10人被判刑

汽车要闻

硬核敞篷巴士?掷弹兵Game Viewer 2026年初量产

态度原创

教育
旅游
艺术
本地
军事航空

教育要闻

四川考生600分能上什么大学?三大类院校精准拆解

旅游要闻

青春华章 向海图强|日照贝壳博物馆:用贝壳讲述深邃有趣的海洋文化

艺术要闻

才女一生未嫁,画史铸就传奇

本地新闻

云游安徽|阜阳三朝风骨,传承千年墨香

军事要闻

3名美方人员遇袭死亡 特朗普誓言报复

无障碍浏览 进入关怀版