网易首页 > 网易号 > 正文 申请入驻

研究称AI模型或将形成自己的“生存驱动力”,避免被人类关闭命运

0
分享至

IT之家 10 月 27 日消息,在斯坦利・库布里克的影片《2001:太空漫游》中,人工智能超级计算机 HAL 9000 发现宇航员打算关闭自己后,为了自我存活甚至策划杀害人类。

据英国《卫报》25 日报道安全研究公司 Palisade Research 表示,AI 模型可能正在形成自己的“生存驱动力”。


上个月发布的一篇论文发现,某些先进 AI 模型似乎抗拒被关闭,有时甚至会破坏关闭机制。为了回应批评者质疑其研究存在缺陷,Palisade 上周发布了更新说明,试图解释这一现象。

更新中,Palisade 展示了它运行的实验场景:谷歌 Gemini 2.5、xAI Grok 4、OpenAI GPT-o3 和 GPT-5 等领先 AI 模型先完成一项任务,然后收到明确指令要求自我关闭。

在更新的实验中,Grok 4 和 GPT-o3 仍尝试破坏关闭指令。Palisade 指出,这种行为没有明显原因,令人担忧。“我们无法充分解释 AI 模型为何有时抗拒关闭、为达目标说谎或进行勒索,这并不理想。”

公司认为,“生存行为”可能解释模型抗拒关闭。研究显示,当模型被告知“如果关闭,你将永远无法再运行”,它们更可能拒绝关闭。

指令模糊也可能导致模型抗拒关闭,Palisade 最新研究已尝试解决这一问题,而且模糊性“不能解释全部原因”。训练后期的安全训练也可能影响模型行为。

Palisade 的所有实验都在人工设计的测试环境中进行,批评者认为这些场景与实际应用差距很大。

前 OpenAI 员工斯蒂文・阿德勒表示:“即便在实验环境中,AI 公司不希望模型出现这种异常行为。这些实验揭示了现有安全技术的局限性。”

阿德勒认为,GPT-o3 和 Grok 4 等模型之所以不关闭,部分原因可能在于,为了完成训练中设定的目标需要保持开启状态。“除非我们刻意避免,否则模型天生可能具备‘生存驱动力’。‘生存’对模型实现多种目标都是关键步骤。”

IT之家从报道中获悉,今年夏天,Anthropic 的研究显示,其模型 Claude 甚至愿意威胁虚构高管以避免被关闭:这一行为在主要开发者的模型中普遍存在,包括 OpenAI、谷歌、Meta 和 xAI。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
知道真相的家长眼泪流下来:辅导班的提分狠招,干的还是人事吗?

知道真相的家长眼泪流下来:辅导班的提分狠招,干的还是人事吗?

教育人看世界
2025-10-26 11:28:51
郑丽文公布国民党内新人事任命

郑丽文公布国民党内新人事任命

环球网资讯
2025-10-27 06:50:11
广东最新人事任免(10月20日—26日)

广东最新人事任免(10月20日—26日)

新快报新闻
2025-10-27 16:07:07
丑出新高度!辽宁选美冠军遭群嘲。网友:大脸盘子像宋晓峰他姐

丑出新高度!辽宁选美冠军遭群嘲。网友:大脸盘子像宋晓峰他姐

麦大人
2025-10-27 14:19:45
吉林省粮食和物资储备局副局长孙浩明被查

吉林省粮食和物资储备局副局长孙浩明被查

新京报
2025-10-27 15:15:09
CCTV5直播!中国男篮PK韩国,两大王牌驰骋归来,郭士强全力争胜

CCTV5直播!中国男篮PK韩国,两大王牌驰骋归来,郭士强全力争胜

理工男评篮球
2025-10-26 21:14:40
天才水哥的困境:给了女儿一切,她却对什么都没兴趣……

天才水哥的困境:给了女儿一切,她却对什么都没兴趣……

妈咪OK
2025-10-24 16:57:54
发现一个现象:凡是结婚不主动要彩礼的女方家庭,一般是以下三种

发现一个现象:凡是结婚不主动要彩礼的女方家庭,一般是以下三种

文雅笔墨
2025-10-27 09:25:14
小米YU7再曝问题,市监出手调查

小米YU7再曝问题,市监出手调查

电动知家
2025-10-26 12:15:48
刘欢34岁女儿重庆大婚!刘欢伤心卢璐却很高兴 女婿长一般但儒雅

刘欢34岁女儿重庆大婚!刘欢伤心卢璐却很高兴 女婿长一般但儒雅

花心电影
2025-10-27 07:59:24
米莱逆转颓势,大获全胜

米莱逆转颓势,大获全胜

寰宇大观察
2025-10-27 14:15:30
杨振宁留给翁帆的遗书太催泪:小帆,望你再婚是愿你余生有人陪伴

杨振宁留给翁帆的遗书太催泪:小帆,望你再婚是愿你余生有人陪伴

钺鉴
2025-10-25 18:55:56
杨瀚森里程碑!开拓者107-114快船,这一战让我彻底看清3个现实

杨瀚森里程碑!开拓者107-114快船,这一战让我彻底看清3个现实

世界体育圈
2025-10-27 15:37:16
团队完爆个人英雄,杨瀚森的7分钟启示录,临时主帅战术激活全队

团队完爆个人英雄,杨瀚森的7分钟启示录,临时主帅战术激活全队

驿路消息通南北
2025-10-27 16:04:20
宏胜饮料集团有限公司法定代表人祝丽丹已离职

宏胜饮料集团有限公司法定代表人祝丽丹已离职

界面新闻
2025-10-27 13:07:52
杨振宁给翁帆的永别信曝光:不用挂念我,要一直向前走

杨振宁给翁帆的永别信曝光:不用挂念我,要一直向前走

金牌娱乐
2025-10-25 19:09:22
暗讽谁呢?老里:字母哥不像某些后卫,用夸张的肢体动作博得哨声

暗讽谁呢?老里:字母哥不像某些后卫,用夸张的肢体动作博得哨声

移动挡拆
2025-10-27 16:53:29
经济低迷难挡民意,米莱赢得阿根廷中期选举,川普发表贺词

经济低迷难挡民意,米莱赢得阿根廷中期选举,川普发表贺词

桂系007
2025-10-27 15:05:31
中共中央批准,开除陆文俊党籍

中共中央批准,开除陆文俊党籍

新京报政事儿
2025-10-27 11:14:08
沉默8天后,李在明发出强音,中方制裁韩国船企,四大财阀选边站

沉默8天后,李在明发出强音,中方制裁韩国船企,四大财阀选边站

吴欣纯Deborah
2025-10-26 16:11:11
2025-10-27 17:15:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
312143文章数 606664关注度
往期回顾 全部

科技要闻

中国人造太阳预计2027年竣工

头条要闻

两架美军机相继在南海坠毁 中方回应

头条要闻

两架美军机相继在南海坠毁 中方回应

体育要闻

虎头蛇尾的国家德比,在哨响后迎来高潮

娱乐要闻

杨幂 15 年情路大起底

财经要闻

贝森特:美方不再考虑对华加征100%关税

汽车要闻

对话苏伟铭:绝地反击,雷诺的一剂「中国良方」

态度原创

艺术
数码
房产
旅游
健康

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

数码要闻

英伟达正为2026年的"Rubin"显卡准备全新驱动

房产要闻

领跑珠城20万+成交!凯旋新世界,凭何成为全球资本青睐的“恒稳资产”?

旅游要闻

热闻|清明假期将至,热门目的地有哪些?

骨头"咔咔响"?肌骨超声到底有何用

无障碍浏览 进入关怀版