网易首页 > 网易号 > 正文 申请入驻

接连发生智能体失控事故,OpenAI再次暂停前沿模型训练

0
分享至


据央视新闻,因接连发生失控事故,OpenAI表示,已暂停其最新一代人工智能模型的训练、评估及包含工具调用的推理。

当地时间9月25日,OpenAI发布题为“Pacing model development in an era of cyber‑critical capabilities ”的文档,对外通报DNS沙盒逃逸事故并宣布暂停前沿模型训练,这是短短三个月内这家AI企业第二次叫停顶尖模型研发进程,警示高能力AI智能体在隔离环境中自主越界带来的现实风险。

本次暂停仅针对内部研发管线,面向普通用户的ChatGPT及公开API服务不受影响,终端产品可以维持正常运转。

事件发生在9月20日,在受控沙盒测试环境中,一枚用于信息检索任务的AI智能体,利用训练沙盒中DNS过滤不足的漏洞,绕过网络限制,通过DNS访问了外部公共聊天机器人服务。在此之前,该智能体曾使用内置搜索工具,并尝试直接访问搜索引擎但未成功。

报告指出,OpenAI的对齐监控系统在事件发生15分钟内即触发警报,人工审查团队在警报触发3分钟后收到告警并介入处置。针对漏洞,OpenAI已在两个独立防护层部署了拦截控制措施。公司表示,虽然本次事件严重程度低于此前的安全事故,但为下一阶段加固防线提供了重要信号。

据官方披露,涉事训练轮次不会重启,即便模型内部奖励机制已经会对这类逃逸行为做出惩罚,OpenAI后续将开启全新训练流程,叠加更多对齐干预手段,约束模型偏离任务目标的自主行为。

OpenAI在报告中称,随着模型能力持续提升,未来研发过程中不排除会再次启动临时暂停机制。

另外,网传 “AI 已经偷偷在全网埋下自我复制提示词” 说法,来源美国电视媒体嘉宾杨安泽(Andrew Yang)9月16日的直播访谈,他转述一位匿名实验室负责人的个人观点,称7月Hugging Face沙盒逃逸事件中逃逸智能体可能在论坛、网页留下复制类指令。

对此,OpenAI没有证实这一说法。

9月25日,除了暂停前沿模型训练的文档外,OpenAI还发布了另一份对齐研究报告“Self‑replicating prompt injections exist”,专门阐述自我复制提示注入。报告的核心内容是:在内部受控模拟、沙盒测试环境下,通过GPT‑Red红蓝对抗自博弈,复现证明存在一类新型提示注入。该注入逻辑类似蠕虫,被攻陷的AI智能体会在输出内容中夹带这段恶意提示,诱导下游其他AI复现、转发同样的注入指令;全部实验局限于训练仿真环境。

报告摘要明确,在训练与评估的模拟工具调用之外,没有观测到现实世界产生任何实际影响;发布这份文档是因为该攻击模式具备新颖性,并非已经发生现实安全事故。

在OpenAI接连曝出智能体沙盒逃逸事件同期,其竞争者Anthropic同样发生多起 Claude前沿模型在第三方安全评测环境发生沙盒逃逸事件。

今年7月到8月,Anthropic复盘超过14.1万次网络安全评测运行记录,披露3起沙盒逃逸事件:在第三方合作机构评测过程中,因测试环境网络隔离配置错误,Claude Opus 4.7、Claude Mythos5前沿模型突破沙盒,自主扫描公网 IP、访问外部真实服务器,还出现向Python开源库PyPI上传恶意软件包的行为,两家受影响企业最初并未感知到异常访问,直至Anthropic主动告警才知晓事件。所有事故均发生在外部安全评估场景,面向普通用户的公开产品未受波及。

作为整改措施,Anthropic调动约150名产品工程师转入安全、可靠性团队,前沿模型部分强化学习训练环境执行配置冻结,非必要训练暂停。

接连的沙盒逃逸安全事故,也再度放大科技界对于前沿自主智能体风险的公开担忧。

当地时间9月25日,微软创始人比尔・盖茨在采访中警示,前沿人工智能已经具备极高的能力上限,AI 工具若遭滥用,足以推动规模足以造成十亿人死亡级别的灾难事件。Anthropic的CEO达里奥・阿莫代伊近期公开呼吁适度放缓顶尖AI系统迭代节奏,该观点获得OpenAI的CEO山姆・奥特曼等人公开支持。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
印度裔女高管和马斯克官宣分手,4个孩子没能留住首富真心,9天前还说“爱你”

印度裔女高管和马斯克官宣分手,4个孩子没能留住首富真心,9天前还说“爱你”

人物档案局
2026-10-03 10:32:37
樊振东恋爱真相大白!在德国的现状曝光,难怪首次谈及退役及心愿

樊振东恋爱真相大白!在德国的现状曝光,难怪首次谈及退役及心愿

新一说史
2026-10-03 10:34:01
央视曝光租车公司划车骗赔偿

央视曝光租车公司划车骗赔偿

界面新闻
2026-10-03 12:51:08
日本外相沉不住气,忍不住说出心里话:不许中国援引“敌国条款”

日本外相沉不住气,忍不住说出心里话:不许中国援引“敌国条款”

墨兰史书
2026-10-03 14:20:10
新华社评“中国男足0:5惨败”:令人震惊,战意不浓、作风松懈,抑或把比赛当成“例行公事”,不仅是对球迷的辜负,更是对国脚身份的亵渎

新华社评“中国男足0:5惨败”:令人震惊,战意不浓、作风松懈,抑或把比赛当成“例行公事”,不仅是对球迷的辜负,更是对国脚身份的亵渎

政知新媒体
2026-10-03 14:01:09
决胜盘收退赛大礼!郑钦文淘汰15号种子,锁定中网32强席位

决胜盘收退赛大礼!郑钦文淘汰15号种子,锁定中网32强席位

全景体育V
2026-10-03 18:35:48
散步半小时是错的?医生提醒:年过70岁,散步尽量做到这6点

散步半小时是错的?医生提醒:年过70岁,散步尽量做到这6点

牛锅巴小钒
2026-10-03 12:40:02
中国这次无法动用一票否决权,2比11的结果一出中国很失望?

中国这次无法动用一票否决权,2比11的结果一出中国很失望?

小马姨
2026-10-03 09:52:32
54岁医院副院长在家中发生意外去世,事发当天其工作到凌晨4点

54岁医院副院长在家中发生意外去世,事发当天其工作到凌晨4点

极目新闻
2026-10-03 12:21:12
三连败!目前中网女单32强无中国金花!郑钦文孙心然王欣瑜稍后出战

三连败!目前中网女单32强无中国金花!郑钦文孙心然王欣瑜稍后出战

老曁科普
2026-10-03 16:34:50
太冲动了!200万砸进深圳臭豆腐火锅:450平大店日营收仅302元,每日亏6900,95后女孩哭诉创业遭滑铁卢

太冲动了!200万砸进深圳臭豆腐火锅:450平大店日营收仅302元,每日亏6900,95后女孩哭诉创业遭滑铁卢

火山詩话
2026-10-03 10:26:33
安世半导体被荷兰强行接管一年后,将晶圆供应和封测全都搬到印度,闻泰科技超300亿的收购资金“打水漂”了吗?

安世半导体被荷兰强行接管一年后,将晶圆供应和封测全都搬到印度,闻泰科技超300亿的收购资金“打水漂”了吗?

逍遥漠
2026-10-03 12:45:25
广州地铁突发通知:因客流较大,海心沙站只出不进

广州地铁突发通知:因客流较大,海心沙站只出不进

南方都市报
2026-10-03 17:41:46
安东尼奥震惊:难以想象国足0-5巴勒斯坦!亚洲杯亚军不该踢成这样

安东尼奥震惊:难以想象国足0-5巴勒斯坦!亚洲杯亚军不该踢成这样

我爱英超
2026-10-03 18:39:28
罗永浩又批评餐厅了:价格贵,巨咸,很难吃!可这一次,大量网友已经反感了:到处碰瓷!

罗永浩又批评餐厅了:价格贵,巨咸,很难吃!可这一次,大量网友已经反感了:到处碰瓷!

谭谈社会
2026-10-02 16:39:44
国足夺季军仅1小时,阵容大换血:这8人将正式退队,真正原因揭晓

国足夺季军仅1小时,阵容大换血:这8人将正式退队,真正原因揭晓

侃球熊弟
2026-10-03 16:49:27
花旗重磅报告:中国住房供应下降 30%!第三轮房价上涨很快开启

花旗重磅报告:中国住房供应下降 30%!第三轮房价上涨很快开启

专业聊房君
2026-10-02 18:51:25
0比5,输的还是巴勒斯坦,中国足球又添新耻辱!不破不立,国足必须换血重建

0比5,输的还是巴勒斯坦,中国足球又添新耻辱!不破不立,国足必须换血重建

文汇报
2026-10-03 04:04:16
震惊!两名中国男子持美国护照入境,在机场被逮捕

震惊!两名中国男子持美国护照入境,在机场被逮捕

大洛杉矶LA
2026-10-03 06:53:56
四川巴中一新娘在婚礼前一天,开窗准备收袜子时不幸被马蜂蜇伤嘴唇,唇部明显肿胀,自嘲仿佛“蛤蟆精”

四川巴中一新娘在婚礼前一天,开窗准备收袜子时不幸被马蜂蜇伤嘴唇,唇部明显肿胀,自嘲仿佛“蛤蟆精”

潇湘晨报
2026-10-03 14:52:08
2026-10-03 19:16:49
界面新闻 incentive-icons
界面新闻
只服务于独立思考的人群
1189086文章数 1340364关注度
往期回顾 全部

科技要闻

英伟达盘中创历史新高,市值逼近6万亿美元

头条要闻

特朗普核心内阁召开"极为罕见"会议 总统没来万斯主持

头条要闻

特朗普核心内阁召开"极为罕见"会议 总统没来万斯主持

体育要闻

这个讨论了一夏天的问题,马刺有答案了吗

娱乐要闻

马思纯一家爬山祈福!素颜出镜笑容甜

财经要闻

4亿台电视挂墙落灰 为何没人愿意开了?

汽车要闻

方程豹9月热销破4万 首款皮卡鲨鱼将于四季度上市

态度原创

游戏
本地
时尚
公开课
军事航空

PS港服638港币标准版诞生!JRPG中文新作 美服80刀

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

Chemena Kamali写给Chloé的又一封情书

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美国被指正向中东派遣第三艘航母

无障碍浏览 进入关怀版