网易首页 > 网易号 > 正文 申请入驻

研究称AI模型或将形成自己的“生存驱动力”,避免被人类关闭命运

0
分享至

IT之家 10 月 27 日消息,在斯坦利・库布里克的影片《2001:太空漫游》中,人工智能超级计算机 HAL 9000 发现宇航员打算关闭自己后,为了自我存活甚至策划杀害人类。

据英国《卫报》25 日报道安全研究公司 Palisade Research 表示,AI 模型可能正在形成自己的“生存驱动力”。


上个月发布的一篇论文发现,某些先进 AI 模型似乎抗拒被关闭,有时甚至会破坏关闭机制。为了回应批评者质疑其研究存在缺陷,Palisade 上周发布了更新说明,试图解释这一现象。

更新中,Palisade 展示了它运行的实验场景:谷歌 Gemini 2.5、xAI Grok 4、OpenAI GPT-o3 和 GPT-5 等领先 AI 模型先完成一项任务,然后收到明确指令要求自我关闭。

在更新的实验中,Grok 4 和 GPT-o3 仍尝试破坏关闭指令。Palisade 指出,这种行为没有明显原因,令人担忧。“我们无法充分解释 AI 模型为何有时抗拒关闭、为达目标说谎或进行勒索,这并不理想。”

公司认为,“生存行为”可能解释模型抗拒关闭。研究显示,当模型被告知“如果关闭,你将永远无法再运行”,它们更可能拒绝关闭。

指令模糊也可能导致模型抗拒关闭,Palisade 最新研究已尝试解决这一问题,而且模糊性“不能解释全部原因”。训练后期的安全训练也可能影响模型行为。

Palisade 的所有实验都在人工设计的测试环境中进行,批评者认为这些场景与实际应用差距很大。

前 OpenAI 员工斯蒂文・阿德勒表示:“即便在实验环境中,AI 公司不希望模型出现这种异常行为。这些实验揭示了现有安全技术的局限性。”

阿德勒认为,GPT-o3 和 Grok 4 等模型之所以不关闭,部分原因可能在于,为了完成训练中设定的目标需要保持开启状态。“除非我们刻意避免,否则模型天生可能具备‘生存驱动力’。‘生存’对模型实现多种目标都是关键步骤。”

IT之家从报道中获悉,今年夏天,Anthropic 的研究显示,其模型 Claude 甚至愿意威胁虚构高管以避免被关闭:这一行为在主要开发者的模型中普遍存在,包括 OpenAI、谷歌、Meta 和 xAI。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
41岁张雪峰去世,死因曝光,他至少有3次活命机会,全被耽误了!

41岁张雪峰去世,死因曝光,他至少有3次活命机会,全被耽误了!

小舟谈历史
2026-03-25 18:56:59
巨乳性感绑带浑圆大腿!日本格斗游戏劲爆手办预告

巨乳性感绑带浑圆大腿!日本格斗游戏劲爆手办预告

游民星空
2026-03-25 19:48:32
表姑向我借了85000,17年没还,我去银行注销旧卡时,柜员看了眼卡说:女士,最后一笔转账留言您要看吗?

表姑向我借了85000,17年没还,我去银行注销旧卡时,柜员看了眼卡说:女士,最后一笔转账留言您要看吗?

背包旅行
2026-03-26 15:03:43
你在无意中发现别人什么秘密?网友爆料,电视剧都不敢这样演

你在无意中发现别人什么秘密?网友爆料,电视剧都不敢这样演

夜深爱杂谈
2026-03-16 22:21:03
“晚打不如早打,小打不如大打,打一个,不如拉日本一起打”。

“晚打不如早打,小打不如大打,打一个,不如拉日本一起打”。

安安说
2026-03-14 18:50:59
东方财富、同花顺、指南针、大智慧......互联网券商信息服务商业绩大扫描!有何亮点?

东方财富、同花顺、指南针、大智慧......互联网券商信息服务商业绩大扫描!有何亮点?

券商中国
2026-03-26 12:24:18
风向彻底变了!西方媒体集体改口:中国,无需再向世界证明什么

风向彻底变了!西方媒体集体改口:中国,无需再向世界证明什么

大卫聊科技
2026-03-25 12:22:18
黄仁勋:芯片公司的时代已经结束了

黄仁勋:芯片公司的时代已经结束了

芯榜
2026-03-26 01:34:50
姆巴佩:说我在皇马遭误诊是假的,也怪我留下了可解读的空间

姆巴佩:说我在皇马遭误诊是假的,也怪我留下了可解读的空间

懂球帝
2026-03-26 04:09:06
张雪峰公司对联已拆!一个月前注册近40枚“姩菡”商标,捐款千万

张雪峰公司对联已拆!一个月前注册近40枚“姩菡”商标,捐款千万

离离言几许
2026-03-25 15:07:06
75岁刘晓庆发文:这么想我死啊

75岁刘晓庆发文:这么想我死啊

都市快报橙柿互动
2026-03-25 15:21:36
医生给你暗示过什么话?网友:小兔崽子不安分

医生给你暗示过什么话?网友:小兔崽子不安分

夜深爱杂谈
2026-03-19 19:32:51
别再被蔬菜的外表骗了,内行人:这6种蔬菜,暗藏“科技与狠活”

别再被蔬菜的外表骗了,内行人:这6种蔬菜,暗藏“科技与狠活”

洪洋美食日记
2026-03-26 15:10:01
特朗普:伊朗在谈判但不敢明说,其领导人怕被自己人干掉!伊外长:与美“交流信息” ,没谈判!美媒:万斯将前往巴基斯坦讨论停战

特朗普:伊朗在谈判但不敢明说,其领导人怕被自己人干掉!伊外长:与美“交流信息” ,没谈判!美媒:万斯将前往巴基斯坦讨论停战

每日经济新闻
2026-03-26 09:53:08
疯狂!狂轰59+10+5,场均31.8分+历史得分王,竟然打不了NBA

疯狂!狂轰59+10+5,场均31.8分+历史得分王,竟然打不了NBA

球童无忌
2026-03-26 11:10:26
消息人士:若美国打通霍尔木兹海峡,伊朗或在曼德海峡开辟新战线

消息人士:若美国打通霍尔木兹海峡,伊朗或在曼德海峡开辟新战线

极目新闻
2026-03-26 10:13:04
国企的中层小领导也熬不住了

国企的中层小领导也熬不住了

微微热评
2026-01-30 11:32:23
千万粉丝网红嘲讽张雪峰离世,引众怒!这波操作,三观碎一地

千万粉丝网红嘲讽张雪峰离世,引众怒!这波操作,三观碎一地

LOGO研究所
2026-03-26 15:54:28
迟迟都等不到中企复工,巴拿马头号帮手已介入,中方加强港口管制

迟迟都等不到中企复工,巴拿马头号帮手已介入,中方加强港口管制

阿凫爱吐槽
2026-03-25 15:24:29
都说你是CBA高铁,如今打成联盟第一,手握顶薪,妻子很漂亮

都说你是CBA高铁,如今打成联盟第一,手握顶薪,妻子很漂亮

大西体育
2026-03-26 14:23:06
2026-03-26 16:32:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
336056文章数 607090关注度
往期回顾 全部

科技要闻

Meta高管狂分百亿期权,700名员工却下岗

头条要闻

上海妈妈寻亲27年悬赏市区一套房:不用尽孝 要个拥抱

头条要闻

上海妈妈寻亲27年悬赏市区一套房:不用尽孝 要个拥抱

体育要闻

35岁替补门将,凭什么入选英格兰队?

娱乐要闻

张雪峰家人首发声 不设追思会丧事从简

财经要闻

黄仁勋:芯片公司的时代已经结束了

汽车要闻

一汽奥迪A6L e-tron开启预售 CLTC最大续航815km

态度原创

数码
艺术
时尚
本地
家居

数码要闻

三星更新870 EVO系列SATA SSD:最高8TB 定价超1万元

艺术要闻

哪一座桥不是风景?

皮衣+裙,高级到炸

本地新闻

救命,这只酱板鸭已经在我手机复仇了一万遍

家居要闻

傍海而居 静观蝴蝶海

无障碍浏览 进入关怀版