网易首页 > 网易号 > 正文 申请入驻

研究称AI模型或将形成自己的“生存驱动力”,避免被人类关闭命运

0
分享至

IT之家 10 月 27 日消息,在斯坦利・库布里克的影片《2001:太空漫游》中,人工智能超级计算机 HAL 9000 发现宇航员打算关闭自己后,为了自我存活甚至策划杀害人类。

据英国《卫报》25 日报道安全研究公司 Palisade Research 表示,AI 模型可能正在形成自己的“生存驱动力”。


上个月发布的一篇论文发现,某些先进 AI 模型似乎抗拒被关闭,有时甚至会破坏关闭机制。为了回应批评者质疑其研究存在缺陷,Palisade 上周发布了更新说明,试图解释这一现象。

更新中,Palisade 展示了它运行的实验场景:谷歌 Gemini 2.5、xAI Grok 4、OpenAI GPT-o3 和 GPT-5 等领先 AI 模型先完成一项任务,然后收到明确指令要求自我关闭。

在更新的实验中,Grok 4 和 GPT-o3 仍尝试破坏关闭指令。Palisade 指出,这种行为没有明显原因,令人担忧。“我们无法充分解释 AI 模型为何有时抗拒关闭、为达目标说谎或进行勒索,这并不理想。”

公司认为,“生存行为”可能解释模型抗拒关闭。研究显示,当模型被告知“如果关闭,你将永远无法再运行”,它们更可能拒绝关闭。

指令模糊也可能导致模型抗拒关闭,Palisade 最新研究已尝试解决这一问题,而且模糊性“不能解释全部原因”。训练后期的安全训练也可能影响模型行为。

Palisade 的所有实验都在人工设计的测试环境中进行,批评者认为这些场景与实际应用差距很大。

前 OpenAI 员工斯蒂文・阿德勒表示:“即便在实验环境中,AI 公司不希望模型出现这种异常行为。这些实验揭示了现有安全技术的局限性。”

阿德勒认为,GPT-o3 和 Grok 4 等模型之所以不关闭,部分原因可能在于,为了完成训练中设定的目标需要保持开启状态。“除非我们刻意避免,否则模型天生可能具备‘生存驱动力’。‘生存’对模型实现多种目标都是关键步骤。”

IT之家从报道中获悉,今年夏天,Anthropic 的研究显示,其模型 Claude 甚至愿意威胁虚构高管以避免被关闭:这一行为在主要开发者的模型中普遍存在,包括 OpenAI、谷歌、Meta 和 xAI。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
官方发文!李湘风波有了新进展,让她怀二胎的男人,能松口气了

官方发文!李湘风波有了新进展,让她怀二胎的男人,能松口气了

叨唠
2026-03-19 22:49:31
苹果首款折叠屏iPhoneUltra发售时间或将推迟,9月发布,11月开售

苹果首款折叠屏iPhoneUltra发售时间或将推迟,9月发布,11月开售

小8说科技
2026-03-21 19:45:48
陈晋一:我对那粒任意球的角度有信心,拿1分是很公平的结果

陈晋一:我对那粒任意球的角度有信心,拿1分是很公平的结果

懂球帝
2026-03-21 17:53:15
60年前,金门战役里被俘的3000名我军将士,如今都怎么样了

60年前,金门战役里被俘的3000名我军将士,如今都怎么样了

老范谈史
2026-03-17 09:58:57
杨鸣认证悄然更改!“辽宁男篮主帅”变“篮球教练员”回归无望?

杨鸣认证悄然更改!“辽宁男篮主帅”变“篮球教练员”回归无望?

番茄体坛
2026-03-20 16:13:15
0-3!天津津门虎不敌辽宁铁人,媒体人热议:3轮过后,活成了孤岛

0-3!天津津门虎不敌辽宁铁人,媒体人热议:3轮过后,活成了孤岛

球场新视角1号
2026-03-21 19:46:37
下山神也是神!奥沙利文年过半百多次失误,仍长台史诗绝杀吴宜泽

下山神也是神!奥沙利文年过半百多次失误,仍长台史诗绝杀吴宜泽

杨华评论
2026-03-21 18:04:05
伊朗总统被曝欲辞职,打卡塔尔是伊朗败笔

伊朗总统被曝欲辞职,打卡塔尔是伊朗败笔

名人苟或
2026-03-20 11:39:41
台外事部门负责人表态,愿与王毅外长会面:会主动伸出手和他握手

台外事部门负责人表态,愿与王毅外长会面:会主动伸出手和他握手

触摸史迹
2026-03-20 15:03:22
伊朗又一重要人物遇害!战事升级,胡塞武装:可能封锁曼德海峡

伊朗又一重要人物遇害!战事升级,胡塞武装:可能封锁曼德海峡

策略述
2026-03-20 19:16:37
西班牙新一期大名单身价榜:亚马尔2亿欧第1,巴萨占据前4位

西班牙新一期大名单身价榜:亚马尔2亿欧第1,巴萨占据前4位

懂球帝
2026-03-21 03:42:18
保姆偷拿了家里2瓶茅台去卖,我没揭穿只辞退了她,临走时她指了指旧皮鞋,我一看瞬间瘫坐在地

保姆偷拿了家里2瓶茅台去卖,我没揭穿只辞退了她,临走时她指了指旧皮鞋,我一看瞬间瘫坐在地

今夜有个好故事
2026-03-11 17:26:56
中央公布重要文件,养老金调整方向明确,工龄30年以上是否多涨钱

中央公布重要文件,养老金调整方向明确,工龄30年以上是否多涨钱

百变小厨坊VS龙儿美食
2026-03-20 16:04:38
“妈,门口要钱,我们就不进去看你了”,游客在壶口瀑布外拍视频被投诉侵权,山西壶口瀑布景区:事发地是陕西壶口瀑布,我们也是受害者

“妈,门口要钱,我们就不进去看你了”,游客在壶口瀑布外拍视频被投诉侵权,山西壶口瀑布景区:事发地是陕西壶口瀑布,我们也是受害者

观威海
2026-03-18 14:47:02
女子在医院顺产生下一个孩子,突然在阴道里排出大便

女子在医院顺产生下一个孩子,突然在阴道里排出大便

张晓磊
2026-03-21 11:44:27
台当局紧张坏了,大陆对台湾同胞做出一项公开承诺!赖清德慌了神

台当局紧张坏了,大陆对台湾同胞做出一项公开承诺!赖清德慌了神

小蒋爱唠嗑
2026-03-21 03:30:35
蹭饭哥公开道歉:否认260次蹭饭,称带盒饭因患病,无辜人被牵连

蹭饭哥公开道歉:否认260次蹭饭,称带盒饭因患病,无辜人被牵连

潮鹿逐梦
2026-03-21 18:38:08
黑龙江一女子接孩子放学忘关火,导致厨房被烧,两只猫被熏死

黑龙江一女子接孩子放学忘关火,导致厨房被烧,两只猫被熏死

大象新闻
2026-03-21 16:45:16
欠中国的钱,委内瑞拉不还了?美财长:中国已无法继续获得委石油

欠中国的钱,委内瑞拉不还了?美财长:中国已无法继续获得委石油

萌城少年强
2026-01-22 12:47:40
7.4万人观战!日本女足1-0澳洲 近4届亚洲杯第3次夺冠 世界波制胜

7.4万人观战!日本女足1-0澳洲 近4届亚洲杯第3次夺冠 世界波制胜

我爱英超
2026-03-21 18:57:48
2026-03-21 20:47:01
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
335279文章数 607081关注度
往期回顾 全部

科技要闻

宇树招股书拆解,人形机器人出货量第一!

头条要闻

警察派出所内猥亵女孩获刑两年九个月 曾被吸毒者刺伤

头条要闻

警察派出所内猥亵女孩获刑两年九个月 曾被吸毒者刺伤

体育要闻

谁在决定字母哥未来?

娱乐要闻

CMG盛典获奖名单:章子怡高叶同获影后

财经要闻

通胀警报拉响,加息潮要来了?

汽车要闻

小鹏汽车2025年Q4盈利净赚3.8亿 全年营收767亿

态度原创

本地
房产
手机
公开课
军事航空

本地新闻

春色满城关不住|绍兴春日顶流,这片樱花海藏不住了

房产要闻

全城狂送1000杯咖啡!网易房产【早C计划】,即刻启动!

手机要闻

一代神机再续命!华为Mate40系列被曝Q2升级鸿蒙6.0!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

特朗普:正考虑逐步降级对伊朗的军事行动

无障碍浏览 进入关怀版