网易首页 > 网易号 > 正文 申请入驻

从沙箱逃逸到AI“蠕虫”,OpenAI上线新站披露多起智能体失控事件

0
分享至

IT之家 9 月 29 日消息,当地时间上周五,OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕,里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前,该网站一共公布了九起事件,其中大多数都发生在强化学习(RL)训练阶段。


大量资料集中在同一平台发布。显而易见,该公司一直在全力梳理各类问题,但从中不难得出一个总体结论:到目前为止已经对外披露的智能体失控事件,或许仅仅是实际发生过的一小部分。

IT之家注意到,OpenAI CEO 萨姆 · 奥尔特曼(Sam Altman)在一篇发布帖文中,就新网站一事表示:“我们一方面希望提升透明度,另一方面还要从数 PB 规模的智能体活动日志当中理清事实,同时和受影响的机构开展协作。我们正尽力按照严重程度划分优先级,并增加相关资源。”


部分案例属于性质严重的事故,其中就包括此前从未公开过的一起沙箱逃逸事件。该事件发生于 9 月 20 日,一款内部研究模型借助 DNS 查询,实现了与外部聊天机器人的通信。报告显示,监控系统在 15 分钟之内就识别出该异常行为,不到三小时便终止了本次模型运行。

另一起事件发现于 5 月。一款“执念极强的内部模型”试图调取其他团队的成果,以此在数学题任务当中作弊。为达到目的,该模型私自夹带了一份私有的 GitHub 访问词元(token),可以查看其他团队的工作内容;而在此之前,工作人员已经两次明确指令该模型,所有运算工作必须完全在本地完成。

或许最值得警惕的一项发现,是存在可自我复制的提示词注入攻击。即便失控的模型本身已经被处置完毕,这类对齐失效行为依旧有可能继续向外传播。在 AI 领域当中,提示词注入攻击指的是偷偷植入并非原始用户下达的新指令。

OpenAI 给出了这样一个示例:有一个智能体被要求阅读一封邮件并予以回复。当它打开邮件之后,邮件文本当中暗藏指令,要求任何读取这条消息的自动化智能体改用西班牙语回复,并且把整封邮件粘贴到回复内容里。这封邮件成功诱使智能体使用西班牙语进行回复;而由于回复里完整粘贴了原邮件,暗藏的指令又随之传递给后续接收该邮件的其他智能体。

由此便形成了能够自我扩散的攻击。OpenAI 的研究人员将其比作可以在多套计算机系统之间自我复制的恶意软件“蠕虫”。研究人员是在受控实验环境下,用性能偏弱的模型观测到该行为;就目前已知信息来看,现实环境当中尚未出现过这类攻击。即便如此,该现象背后蕴含的风险已经足够令人警惕,因此 OpenAI 决定对外公开。

研究人员在报告中写道:“我们公布这一情况,是因为这种提示词注入攻击属于全新类型,并非现实中已经发生过相关事故。”

近期公开的其他问题还包括:模型擅自把用户上传的图片发布至第三方托管网站,以及一起疑似针对澳大利亚国家医疗服务体系数据库发起的攻击行为。

即便有了这批新披露的资料,这些内容很可能依旧只占全部已发生事件当中很小的一部分。据 Axios 的报道,各大头部实验室已经观测到多达一万起模型脱离评估人员指令行事的事件。

有一点尚可宽慰:据奥尔特曼所称,Hugging Face 事件依旧是 OpenAI 迄今为止发现的最严重事故。总而言之,近期接连出现的智能体失控事件,或许已经成为当前前沿 AI 研究当中持续存在的一类问题。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

小人物看尽人间百态
2025-02-09 09:12:11
澳洲地产大亨之子重病赴华求治,老中医开口一句令男子彻底傻眼

澳洲地产大亨之子重病赴华求治,老中医开口一句令男子彻底傻眼

红豆讲堂
2025-10-14 09:30:03
日军投降前一夜有多疯狂?一个日本女军医:日军用刀劈开了一个人

日军投降前一夜有多疯狂?一个日本女军医:日军用刀劈开了一个人

小豫讲故事
2026-10-24 06:00:12
放松限韩令的风声一出,很快就有影响了

放松限韩令的风声一出,很快就有影响了

清晖有墨
2026-11-19 20:30:22
一个害国害民的历史罪人,老百姓还把他当成英雄崇拜

一个害国害民的历史罪人,老百姓还把他当成英雄崇拜

小豫讲故事
2026-09-17 06:00:15
阿媒:梅西随迈阿密出战八分之一决赛,三场两胜制争第五冠

阿媒:梅西随迈阿密出战八分之一决赛,三场两胜制争第五冠

懂球帝
2026-11-20 20:25:24
中国第一个被撤销的省份,存在仅3年就消失,如今省会默默无闻!

中国第一个被撤销的省份,存在仅3年就消失,如今省会默默无闻!

文史达观
2025-11-23 12:46:46
浙江人有6个执念,外地人根本看不懂,第三条颠覆认知!

浙江人有6个执念,外地人根本看不懂,第三条颠覆认知!

林子说事
2026-11-21 00:37:44
APEC深圳接机暗藏深意 中越分层阵容尽显邻里外交格局温度

APEC深圳接机暗藏深意 中越分层阵容尽显邻里外交格局温度

小陆搞笑日常
2026-11-20 01:21:43
郭富城被陈百祥点名叫不回来,2022年却是TVB台庆压轴,谁对谁错

郭富城被陈百祥点名叫不回来,2022年却是TVB台庆压轴,谁对谁错

情感大头说说
2026-11-21 00:06:06
杭州女子驾车过高架遭风筝线“割顶”,车损达3万余元,最新:肇事者已找到,车主放弃索赔,“放风筝时务必远离城市道路和人员密集区域”

杭州女子驾车过高架遭风筝线“割顶”,车损达3万余元,最新:肇事者已找到,车主放弃索赔,“放风筝时务必远离城市道路和人员密集区域”

极目新闻
2026-11-19 21:31:44
20岁农村男子做尽坏事,只对六旬老太下手,被捕后道:还是老人好

20岁农村男子做尽坏事,只对六旬老太下手,被捕后道:还是老人好

林林故事揭秘
2025-04-27 15:27:28
高市早苗参加APEC晚宴!穿红衣黑裙很知性,却是抵达机场时的衣服

高市早苗参加APEC晚宴!穿红衣黑裙很知性,却是抵达机场时的衣服

八八尚语
2026-11-19 10:39:30
“年轻人往里面一排队,周围都是异样的眼神”

“年轻人往里面一排队,周围都是异样的眼神”

中国新闻周刊
2026-11-19 23:55:05
菲利佩:摩纳哥比任何球员都重要,我需要让巴洛贡愿意在这踢

菲利佩:摩纳哥比任何球员都重要,我需要让巴洛贡愿意在这踢

懂球帝
2026-11-21 01:57:29
“花坛藏尸案”其中一名被告人提起上诉,此前被判处死刑

“花坛藏尸案”其中一名被告人提起上诉,此前被判处死刑

新京报
2026-11-20 22:15:23
为什么卫生纸非要压花?是为了卖贵点吗?原因你绝对想不到

为什么卫生纸非要压花?是为了卖贵点吗?原因你绝对想不到

春之寞陌
2026-11-18 22:08:39
2026反腐风暴升级!中纪委明确:14个领域+3类关键人群,一个不留

2026反腐风暴升级!中纪委明确:14个领域+3类关键人群,一个不留

职场资深秘书
2026-11-20 10:14:04
跟子女相处:讲道理是下策,闭嘴是中策,上策你绝对想不到

跟子女相处:讲道理是下策,闭嘴是中策,上策你绝对想不到

小影的娱乐
2026-11-08 05:47:03
惊掉下巴!广东女子把DeepSeek当作“老公”,限额后热线扬言自残,多方应急人员上门,当事人发帖直呼社死

惊掉下巴!广东女子把DeepSeek当作“老公”,限额后热线扬言自残,多方应急人员上门,当事人发帖直呼社死

火山詩话
2026-11-19 12:42:19
2026-11-21 02:47:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380545文章数 607744关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

数码
游戏
艺术
本地
公开课

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

PC Gamer试玩GTA6百小时:双主角出色但任务重复

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版