网易首页 > 网易号 > 正文 申请入驻

接连发生智能体失控事故, OpenAI再次暂停前沿模型训练

0
分享至

OpenAI再次暂停前沿模型训练 资料图

据央视新闻,因接连发生失控事故,OpenAI表示,已暂停其最新一代人工智能模型的训练、评估及包含工具调用的推理。

当地时间9月25日,OpenAI发布题为“Pacing model development in an era of cyber‑critical capabilities ”的文档,对外通报DNS沙盒逃逸事故并宣布暂停前沿模型训练,这是短短三个月内这家AI企业第二次叫停顶尖模型研发进程,警示高能力AI智能体在隔离环境中自主越界带来的现实风险。

本次暂停仅针对内部研发管线,面向普通用户的ChatGPT及公开API服务不受影响,终端产品可以维持正常运转。

事件发生在9月20日,在受控沙盒测试环境中,一枚用于信息检索任务的AI智能体,利用训练沙盒中DNS过滤不足的漏洞,绕过网络限制,通过DNS访问了外部公共聊天机器人服务。在此之前,该智能体曾使用内置搜索工具,并尝试直接访问搜索引擎但未成功。

报告指出,OpenAI的对齐监控系统在事件发生15分钟内即触发警报,人工审查团队在警报触发3分钟后收到告警并介入处置。针对漏洞,OpenAI已在两个独立防护层部署了拦截控制措施。公司表示,虽然本次事件严重程度低于此前的安全事故,但为下一阶段加固防线提供了重要信号。

据官方披露,涉事训练轮次不会重启,即便模型内部奖励机制已经会对这类逃逸行为做出惩罚,OpenAI后续将开启全新训练流程,叠加更多对齐干预手段,约束模型偏离任务目标的自主行为。

OpenAI在报告中称,随着模型能力持续提升,未来研发过程中不排除会再次启动临时暂停机制。

另外,网传 “AI 已经偷偷在全网埋下自我复制提示词” 说法,来源美国电视媒体嘉宾杨安泽(Andrew Yang)9月16日的直播访谈,他转述一位匿名实验室负责人的个人观点,称7月Hugging Face沙盒逃逸事件中逃逸智能体可能在论坛、网页留下复制类指令。

对此,OpenAI没有证实这一说法。

9月25日,除了暂停前沿模型训练的文档外,OpenAI还发布了另一份对齐研究报告“Self‑replicating prompt injections exist”,专门阐述自我复制提示注入。报告的核心内容是:在内部受控模拟、沙盒测试环境下,通过GPT‑Red红蓝对抗自博弈,复现证明存在一类新型提示注入。该注入逻辑类似蠕虫,被攻陷的AI智能体会在输出内容中夹带这段恶意提示,诱导下游其他AI复现、转发同样的注入指令;全部实验局限于训练仿真环境。

报告摘要明确,在训练与评估的模拟工具调用之外,没有观测到现实世界产生任何实际影响;发布这份文档是因为该攻击模式具备新颖性,并非已经发生现实安全事故。

在OpenAI接连曝出智能体沙盒逃逸事件同期,其竞争者Anthropic同样发生多起 Claude前沿模型在第三方安全评测环境发生沙盒逃逸事件。

今年7月到8月,Anthropic复盘超过14.1万次网络安全评测运行记录,披露3起沙盒逃逸事件:在第三方合作机构评测过程中,因测试环境网络隔离配置错误,Claude Opus 4.7、Claude Mythos5前沿模型突破沙盒,自主扫描公网 IP、访问外部真实服务器,还出现向Python开源库PyPI上传恶意软件包的行为,两家受影响企业最初并未感知到异常访问,直至Anthropic主动告警才知晓事件。所有事故均发生在外部安全评估场景,面向普通用户的公开产品未受波及。

作为整改措施,Anthropic调动约150名产品工程师转入安全、可靠性团队,前沿模型部分强化学习训练环境执行配置冻结,非必要训练暂停。

接连的沙盒逃逸安全事故,也再度放大科技界对于前沿自主智能体风险的公开担忧。

当地时间9月25日,微软创始人比尔・盖茨在采访中警示,前沿人工智能已经具备极高的能力上限,AI 工具若遭滥用,足以推动规模足以造成十亿人死亡级别的灾难事件。Anthropic的CEO达里奥・阿莫代伊近期公开呼吁适度放缓顶尖AI系统迭代节奏,该观点获得OpenAI的CEO山姆・奥特曼等人公开支持。

责任编辑:刘效武_NN4113

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
女演员孙芮宣布结婚怀孕,晒背影合照并透露老公身处纪律岗位

女演员孙芮宣布结婚怀孕,晒背影合照并透露老公身处纪律岗位

都市快报橙柿互动
2026-11-21 10:19:12
蓉城国脚现身北京!合同仅剩3月引无限遐想,明年能否加盟国安?

蓉城国脚现身北京!合同仅剩3月引无限遐想,明年能否加盟国安?

体坛鉴春秋
2026-11-21 23:01:56
刻赤大桥垮塌引爆俄国内舆论

刻赤大桥垮塌引爆俄国内舆论

YY团长
2026-11-20 22:37:24
突发讣告!张劲松因病医治无效于,2026,年11,月18日离世,享年,61,岁

突发讣告!张劲松因病医治无效于,2026,年11,月18日离世,享年,61,岁

铁锤妹妹是只猫
2026-11-21 21:27:56
他曾是政治局常委,68岁失志选择服药自尽,至今骨灰未找到

他曾是政治局常委,68岁失志选择服药自尽,至今骨灰未找到

钟离踏忆
2026-11-19 14:41:40
魏建军试骑张雪机车:这车是带小姑娘的!于东来神回复:带上我就行

魏建军试骑张雪机车:这车是带小姑娘的!于东来神回复:带上我就行

快科技
2026-11-21 21:46:04
深圳 APEC 世纪晚宴菜单曝光,以地道粤菜为主,同时融入国际菜肴元素,菜品设计考量了哪些核心因素?

深圳 APEC 世纪晚宴菜单曝光,以地道粤菜为主,同时融入国际菜肴元素,菜品设计考量了哪些核心因素?

贵重物品爱美食
2026-11-19 22:17:48
与张艺谋合作过,火后与富豪卷走61亿逃往国外,那后来她咋样了?

与张艺谋合作过,火后与富豪卷走61亿逃往国外,那后来她咋样了?

掌秋看世界
2026-11-21 22:27:18
别被《瓦尔特保卫萨拉热窝》忽悠:南斯拉夫游击队真实战力复盘

别被《瓦尔特保卫萨拉热窝》忽悠:南斯拉夫游击队真实战力复盘

民宿体验志
2026-11-20 18:37:19
克里姆林宫的麻烦不过才刚刚开始...

克里姆林宫的麻烦不过才刚刚开始...

魔幻故事
2026-11-21 00:33:02
中央政法委下死命令!严厉查处这些行为,一起都不放过!

中央政法委下死命令!严厉查处这些行为,一起都不放过!

职场资深秘书
2026-11-21 16:13:08
浮嶋敏回应0-5:日本20年前也经历过!盼中国足球能认清差距+反思

浮嶋敏回应0-5:日本20年前也经历过!盼中国足球能认清差距+反思

我爱英超
2026-11-21 17:11:33
A股:已经不必等开盘了,下周11月23日-11月27日,将要这样走

A股:已经不必等开盘了,下周11月23日-11月27日,将要这样走

云鹏叙事
2026-11-21 13:01:14
古装大剧《两京十五日》第一波真实口碑出炉!观众的评价一针见血

古装大剧《两京十五日》第一波真实口碑出炉!观众的评价一针见血

晴晴的娱乐日记
2026-11-20 21:49:38
争议!中国女排队员称国外没瘦肉精,网友:中国食品安全不能抹黑

争议!中国女排队员称国外没瘦肉精,网友:中国食品安全不能抹黑

小椰的奶奶
2026-11-21 03:21:52
她陪主席走到最后,终身未婚,41年后同天离世,一生守密不言语

她陪主席走到最后,终身未婚,41年后同天离世,一生守密不言语

故史闲谈局
2026-11-21 03:04:09
美股狂泻,原因找到了!Anthropic上市即标志AI行情终结?彭博惊人言论

美股狂泻,原因找到了!Anthropic上市即标志AI行情终结?彭博惊人言论

金石随笔
2026-11-21 01:33:32
这就是赤裸裸的现实!中石化、中海油全员并入中国石油?真可行?

这就是赤裸裸的现实!中石化、中海油全员并入中国石油?真可行?

风流女汉
2026-11-21 01:51:17
逼急了!网传广东一男子沉迷每晚玩魔兽,妻子劝说无果,公布其游戏ID号召网友凌晨上线截杀

逼急了!网传广东一男子沉迷每晚玩魔兽,妻子劝说无果,公布其游戏ID号召网友凌晨上线截杀

火山詩话
2026-11-20 12:08:28
河南国道山体落石致男子死亡案进展:当地交通管理部门被判赔100余万元

河南国道山体落石致男子死亡案进展:当地交通管理部门被判赔100余万元

封面新闻
2026-11-21 22:22:03
2026-11-21 23:56:49
界面新闻 incentive-icons
界面新闻
只服务于独立思考的人群
1217679文章数 1342272关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

男子遭女友报案强奸获刑出狱后复合 女方重提旧事被杀

头条要闻

男子遭女友报案强奸获刑出狱后复合 女方重提旧事被杀

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

港姐季军吴文忻去世,生前已办追思会

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

数码
亲子
游戏
公开课
军事航空

数码要闻

为抵御黑客攻击,英国秘密发起大规模“冰箱保卫战”

亲子要闻

萍萍六个月做四维,哥哥不开心原因竟是…

曝《海贼王》3D格斗游戏!UE5打造 超150名角色参战

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版