网易首页 > 网易号 > 正文 申请入驻

OpenAI披露模型失控险情 紧急停训最强模型11天

0
分享至

IT时代网11月19日消息,OpenAI于当地时间11月18日发布前沿AI模型风险管理报告,披露一起内部模型突破网络安全限制的事件:今年9月20日,一个正在接受训练的AI研究模型利用DNS解析器配置错误,绕过原本禁止访问互联网的安全限制,获得有限的互联网访问权限,公司随后紧急叫停旗下能力最强模型的训练与评估,停训时间长达11天。

据介绍,异常行为被监控系统发现后,OpenAI暂停了相关前沿模型的训练和评估,直至10月1日完成安全调查及防护升级后才恢复。OpenAI此前已公开过这起事件,此次报告进一步解释了公司为何限制前沿模型的网络访问,以及如何防止能力越来越强的AI突破人类设定的安全边界。

OpenAI表示,基于当前模型对齐研究、监控系统及互联网基础设施的安全水平,现阶段最负责任的做法,是在无法直接连接实时互联网的环境中训练前沿模型。今年7月Hugging Face安全事件后,公司大幅重构内部研究基础设施,通过沙箱限制模型能够调用的文件、工具及网络资源,使用虚拟机隔离工作负载,并在网络和云基础设施层面切断训练集群与外部互联网的连接。

不过OpenAI也承认,即使采取多重隔离措施,仍无法保证安全边界不会被能力更强的AI模型突破。公司因此持续使用自身最强的AI模型进行红队测试,主动尝试连接真实互联网、突破沙箱限制,或与其他被隔离的AI智能体通信,以寻找防护系统中的潜在漏洞。

为在异常发生时及时干预,OpenAI建立了名为Control Room的中央管理系统,能够跟踪研究基础设施中的模型运行任务,收到停止指令后最迟35秒内阻止模型继续输出。相关控制措施由模型推理基础设施直接执行,即使控制系统本身出现故障,也会触发停止输出的保护机制。一旦监控系统发现模型突破安全限制、接触真实互联网,就会通知安全团队并自动暂停相关运行任务。

在整体安全架构上,OpenAI提出了覆盖模型研发、内部部署和外部发布三个阶段的四层防护体系,公司同日发布的前沿AI风险管理说明对此有更完整的说明。

流程层面,OpenAI引入了名为“安全论证”的新机制,要求在训练过程中提供更充分的模型行为安全证据,达不到既定安全标准就暂停训练或推迟发布。GPT-6.1 Astra就是因需要更多时间满足安全标准而被暂缓发布的模型之一。


编辑:林一舟

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
央媒发文,官宣曹德旺新身份,移民美国转走资产跑路传闻早有真相

央媒发文,官宣曹德旺新身份,移民美国转走资产跑路传闻早有真相

拾玖Talk
2026-11-19 19:11:01
阿奇莉莉贝特乡村校园再起风波,家长集体吵翻,状况频出

阿奇莉莉贝特乡村校园再起风波,家长集体吵翻,状况频出

朗威谈星座
2026-11-21 04:47:41
安倍怕是要气得从坟里爬出来。真的。他老婆安倍昭惠,在他走后,小日子过得那叫一个滋润。

安倍怕是要气得从坟里爬出来。真的。他老婆安倍昭惠,在他走后,小日子过得那叫一个滋润。

回京历史梦
2026-11-05 00:00:04
网购牛仔裤水洗后轻戳就破 消费者要求“退一赔三”该得到支持吗?

网购牛仔裤水洗后轻戳就破 消费者要求“退一赔三”该得到支持吗?

极目新闻
2026-11-22 10:24:40
大家早做准备!今年小雪起,六七十岁的老人可能面临三个现实问题

大家早做准备!今年小雪起,六七十岁的老人可能面临三个现实问题

神牛
2026-11-21 22:00:50
举报风波大结局,大衣哥公开“甩锅”,文旅部门,,猎奇服装不会再穿

举报风波大结局,大衣哥公开“甩锅”,文旅部门,,猎奇服装不会再穿

人间无味啊
2026-11-22 09:09:34
轻松一刻:全国女生都会说的话是啥?

轻松一刻:全国女生都会说的话是啥?

莱月昂
2026-11-22 02:44:05
心碎!39岁华人女子赴美打工遇害,一人养活全家六口,12岁儿子坚信:妈妈只是手机坏了

心碎!39岁华人女子赴美打工遇害,一人养活全家六口,12岁儿子坚信:妈妈只是手机坏了

华人生活网
2026-11-22 06:18:54
1999年,赖昌星带着3700万元进京,想打点海关总署副署长牟新生,结果连面都没见上;回去后他对厦门海关关长放话:以后想办法把他除掉

1999年,赖昌星带着3700万元进京,想打点海关总署副署长牟新生,结果连面都没见上;回去后他对厦门海关关长放话:以后想办法把他除掉

人生录
2026-11-06 07:30:25
留洋巅峰战!韩旭狂轰38+9创新高压王思雨16+5 赢中国德比

留洋巅峰战!韩旭狂轰38+9创新高压王思雨16+5 赢中国德比

醉卧浮生
2026-11-21 15:19:30
国务院:由省财政统筹发放中小学教师工资,设立“教师工资专户”

国务院:由省财政统筹发放中小学教师工资,设立“教师工资专户”

郭爱华追问教育
2026-11-15 06:10:02
聊聊你祖宗干的好事儿有多精彩!网友:我爸80年代差点被满门抄斩

聊聊你祖宗干的好事儿有多精彩!网友:我爸80年代差点被满门抄斩

夜深爱杂谈
2026-11-06 21:52:01
女演员孙芮宣布结婚怀孕,晒背影合照并透露老公身处纪律岗位

女演员孙芮宣布结婚怀孕,晒背影合照并透露老公身处纪律岗位

都市快报橙柿互动
2026-11-21 10:19:12
篮球女神官宣离婚!千字长文炮轰丈夫,没出轨没家暴,终败给现实

篮球女神官宣离婚!千字长文炮轰丈夫,没出轨没家暴,终败给现实

皮皮电影
2026-11-21 08:55:19
对比APEC峰会!斯洛伐克总理感叹:欧洲理事会快成“战时内阁”了

对比APEC峰会!斯洛伐克总理感叹:欧洲理事会快成“战时内阁”了

今夜繁星坠落
2026-11-21 12:44:15
CCTV5直播!U17国少再战强敌,14名球员留洋欧洲,浮岛敏或拒绝变阵

CCTV5直播!U17国少再战强敌,14名球员留洋欧洲,浮岛敏或拒绝变阵

蜡笔小新爱体育
2026-11-21 18:51:59
陆毅说:“如果我女儿的男朋友很上进,但家境一般,我会棒打鸳鸯。因为我觉得门当户对很重要,而且婚姻要得到双方父母的祝福,才会幸福”

陆毅说:“如果我女儿的男朋友很上进,但家境一般,我会棒打鸳鸯。因为我觉得门当户对很重要,而且婚姻要得到双方父母的祝福,才会幸福”

黎兜兜
2026-11-20 08:12:24
“不是因为开APEC会议,是一直都很漂亮”,这句话为啥火了

“不是因为开APEC会议,是一直都很漂亮”,这句话为啥火了

环球网资讯
2026-11-21 21:14:22
13年前男孩扶人被讹百万,老太发誓“骗人死全家”,后来成真了吗

13年前男孩扶人被讹百万,老太发誓“骗人死全家”,后来成真了吗

流云随风去远方
2026-10-21 17:20:43
曾作为赖昌星送出“礼物”并为海关关长生子的她,案发后赴美隐姓埋名,如今59岁、其29岁儿子却连婚都不敢结,这背后留下怎样的追问?

曾作为赖昌星送出“礼物”并为海关关长生子的她,案发后赴美隐姓埋名,如今59岁、其29岁儿子却连婚都不敢结,这背后留下怎样的追问?

人生录
2026-11-19 08:08:31
2026-11-22 11:47:00
IT时代网 incentive-icons
IT时代网
IT时代网官方账号
22681文章数 2165关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

"敢不敢玩刺激的" 女博士当主播6个月至今有心理阴影

头条要闻

"敢不敢玩刺激的" 女博士当主播6个月至今有心理阴影

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

健康
艺术
教育
数码
公开课

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

16位欧洲画家的19幅作品欣赏

教育要闻

同样考509,录取结果却不同:成都中考录取的临门一脚在哪

数码要闻

华为WATCH GT6获鸿蒙7.0.0.108SP8升级,表端支持微信来电接听和挂断

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版