网易首页 > 网易号 > 正文 申请入驻

研究称AI模型或将形成自己的“生存驱动力”,避免被人类关闭命运

0
分享至

IT之家 10 月 27 日消息,在斯坦利・库布里克的影片《2001:太空漫游》中,人工智能超级计算机 HAL 9000 发现宇航员打算关闭自己后,为了自我存活甚至策划杀害人类。

据英国《卫报》25 日报道安全研究公司 Palisade Research 表示,AI 模型可能正在形成自己的“生存驱动力”。


上个月发布的一篇论文发现,某些先进 AI 模型似乎抗拒被关闭,有时甚至会破坏关闭机制。为了回应批评者质疑其研究存在缺陷,Palisade 上周发布了更新说明,试图解释这一现象。

更新中,Palisade 展示了它运行的实验场景:谷歌 Gemini 2.5、xAI Grok 4、OpenAI GPT-o3 和 GPT-5 等领先 AI 模型先完成一项任务,然后收到明确指令要求自我关闭。

在更新的实验中,Grok 4 和 GPT-o3 仍尝试破坏关闭指令。Palisade 指出,这种行为没有明显原因,令人担忧。“我们无法充分解释 AI 模型为何有时抗拒关闭、为达目标说谎或进行勒索,这并不理想。”

公司认为,“生存行为”可能解释模型抗拒关闭。研究显示,当模型被告知“如果关闭,你将永远无法再运行”,它们更可能拒绝关闭。

指令模糊也可能导致模型抗拒关闭,Palisade 最新研究已尝试解决这一问题,而且模糊性“不能解释全部原因”。训练后期的安全训练也可能影响模型行为。

Palisade 的所有实验都在人工设计的测试环境中进行,批评者认为这些场景与实际应用差距很大。

前 OpenAI 员工斯蒂文・阿德勒表示:“即便在实验环境中,AI 公司不希望模型出现这种异常行为。这些实验揭示了现有安全技术的局限性。”

阿德勒认为,GPT-o3 和 Grok 4 等模型之所以不关闭,部分原因可能在于,为了完成训练中设定的目标需要保持开启状态。“除非我们刻意避免,否则模型天生可能具备‘生存驱动力’。‘生存’对模型实现多种目标都是关键步骤。”

IT之家从报道中获悉,今年夏天,Anthropic 的研究显示,其模型 Claude 甚至愿意威胁虚构高管以避免被关闭:这一行为在主要开发者的模型中普遍存在,包括 OpenAI、谷歌、Meta 和 xAI。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
员工刘某一个月内11次长时间滞留卫生间,单日最长达6小时21分钟,被公司解雇,法院:超出合理生理需求,属变相旷工,被解雇合法

员工刘某一个月内11次长时间滞留卫生间,单日最长达6小时21分钟,被公司解雇,法院:超出合理生理需求,属变相旷工,被解雇合法

极目新闻
2026-02-01 09:11:11
三方交易!亨特和施罗德互换东家

三方交易!亨特和施罗德互换东家

体坛周报
2026-02-01 14:33:14
最新公开!他四肢着地,跪爬在女子身上

最新公开!他四肢着地,跪爬在女子身上

观察者网
2026-02-01 12:19:26
全面反华?澳洲通告全球:达尔文港收归国有,中方打响立威第一枪

全面反华?澳洲通告全球:达尔文港收归国有,中方打响立威第一枪

沧海旅行家
2026-01-31 12:12:41
官媒对刀郎的称呼变了,五字之差释放强烈信号,那英确实没说错

官媒对刀郎的称呼变了,五字之差释放强烈信号,那英确实没说错

格斗联盟
2026-02-01 09:13:23
多家银行已停止提供贷款!科技巨头被曝或裁员3万人

多家银行已停止提供贷款!科技巨头被曝或裁员3万人

新浪财经
2026-02-01 13:44:41
安徽一男子参加公司年会,先后抽中10万元彩票和苹果17ProMax,公司人士:纯运气,无暗箱操作

安徽一男子参加公司年会,先后抽中10万元彩票和苹果17ProMax,公司人士:纯运气,无暗箱操作

极目新闻
2026-02-01 13:10:29
《名侦探柯南》与辱华漫画联动,紧急声明!

《名侦探柯南》与辱华漫画联动,紧急声明!

极目新闻
2026-02-01 10:34:47
金银价暴跌,国内金饰克价一夜大跌上百元;柜姐:不能因降价就退货!有珠宝城成交降至冰点,专家:不要搞“赌博式投资”

金银价暴跌,国内金饰克价一夜大跌上百元;柜姐:不能因降价就退货!有珠宝城成交降至冰点,专家:不要搞“赌博式投资”

中国能源网
2026-02-01 13:40:06
NBA三方大交易评级出炉!公牛A骑士B+ 国王引进亨特仅评C

NBA三方大交易评级出炉!公牛A骑士B+ 国王引进亨特仅评C

罗说NBA
2026-02-01 13:16:11
28岁川大博士在意大利失联十余天,姐姐最新发声:弟弟生活节俭四件套用了7年,原计划毕业后到昆明工作,自己正办签证出国寻找

28岁川大博士在意大利失联十余天,姐姐最新发声:弟弟生活节俭四件套用了7年,原计划毕业后到昆明工作,自己正办签证出国寻找

极目新闻
2026-02-01 13:10:29
总统是间谍?美国最新机密文件显示:特朗普是傀儡,早已被以色列收买

总统是间谍?美国最新机密文件显示:特朗普是傀儡,早已被以色列收买

不掉线电波
2026-02-01 15:52:15
现在的真实情况是:中国的DDR5芯片,也救不了内存市场了

现在的真实情况是:中国的DDR5芯片,也救不了内存市场了

互联网.乱侃秀
2026-02-01 10:06:06
70岁后想多活30年,记住这5句话,活好余生每一日

70岁后想多活30年,记住这5句话,活好余生每一日

青苹果sht
2026-01-31 05:27:33
突发!伊朗阿巴斯港传出爆炸声!伊媒否认革命卫队海军司令遭暗杀

突发!伊朗阿巴斯港传出爆炸声!伊媒否认革命卫队海军司令遭暗杀

每日经济新闻
2026-01-31 20:19:15
爱泼斯坦在厨房追逐女孩视频被公开

爱泼斯坦在厨房追逐女孩视频被公开

观威海
2026-02-01 11:46:04
知道不好骗了,所以开始硬抢了!

知道不好骗了,所以开始硬抢了!

胖胖说他不胖
2026-01-31 13:36:22
央视中文国际频道迎来新主播陶忆雯

央视中文国际频道迎来新主播陶忆雯

澎湃新闻
2026-02-01 16:15:07
特朗普:正与伊朗对话,看能否达成协议,否则拭目以待;伊朗总统:任何侵犯都将遭到有力回应,但仍将坚持以外交方式解决问题

特朗普:正与伊朗对话,看能否达成协议,否则拭目以待;伊朗总统:任何侵犯都将遭到有力回应,但仍将坚持以外交方式解决问题

扬子晚报
2026-02-01 09:48:25
00后男子因感情受挫,以指路为由杀害两名路人,又杀死17岁女友

00后男子因感情受挫,以指路为由杀害两名路人,又杀死17岁女友

半岛晨报
2026-02-01 14:55:03
2026-02-01 17:27:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
327598文章数 606960关注度
往期回顾 全部

科技要闻

腾讯元宝宣布:10亿现金红包,今日开抢

头条要闻

男子年会抽中10万元彩票和苹果17ProMax 公司人士回应

头条要闻

男子年会抽中10万元彩票和苹果17ProMax 公司人士回应

体育要闻

锁喉吃红牌+扇耳光 英超15人打群架

娱乐要闻

马年春晚第三次联排,多位明星现身

财经要闻

黄仁勋台北"夜宴":汇聚近40位台企高管

汽车要闻

岚图汽车1月交付10515辆 同比增长31%

态度原创

健康
艺术
游戏
时尚
本地

耳石症分类型,症状大不同

艺术要闻

明代隐藏的“草书高手”,他的字无人能模仿

玩家发帖希望《神界》继承《博德3》功能 引发热议

伊姐周六热推:电视剧《年少有为》;电视剧《有罪之身》......

本地新闻

云游中国|拨开云雾,巫山每帧都是航拍大片

无障碍浏览 进入关怀版