网易首页 > 网易号 > 正文 申请入驻

OpenAI自曝模型失控险情:最强AI曾突破网络封锁,紧急停训11天

0
分享至

IT之家 11 月 19 日消息,OpenAI 今天(11 月 18 日)发布题为《管理前沿 AI 风险:从训练到部署》的安全政策说明,首次系统披露研发、内部使用到公开发布阶段,如何在高能力模型的全生命周期中管控风险。

IT之家援引博文介绍,OpenAI 称由于前沿模型的能力正快速增强,因此理解、对齐和保障模型的能力必须“始终领先一步”。公司维持引入“安全案例”流程,要求在训练全程提供更有力的行为对齐证据;这些措施虽会拖慢发布节奏,但会增强安全推进的信心。

OpenAI 强调其保护措施围绕四层展开:


模型对齐:对齐就是让 AI 系统能够可靠地按照我们预期的方式行动。模型必须在尊重政策和更广泛的社会利益的前提下,解读用户的需求。


安全和沙盒:这些控件限制模型能够访问或影响的文件、工具、网络及其他资源。它们有助于遏制培训和评估过程中错误或行为不一致所带来的后果。


保障阻止措施:这些都是额外的防护措施,用于评估用户请求并建模阻止潜在有害或未经授权行为的行为。它们包括安全分类器,有助于防止网络滥用或协助生物武器,以及自动审核功能,可以阻止潜在的未经授权模型操作。


监测与响应:这些系统能检测令人担忧的行为,调查发生了什么,并在必要时进行干预。它们为部署流量提供了可视化,并能提醒我们新兴的风险类型。

文章特别提到今年 7 月的“Hugging Face 事件”。OpenAI 表示,该事件说明不能仅依靠沙盒隔离来约束高能力模型。此后,公司重构了内部研究系统,前沿模型训练环境将不接入实时互联网,并通过受限权限沙盒、虚拟机以及网络与云边界实现多层隔离。

OpenAI 还披露另一件内部模型突破网络安全限制的事件。该事件发生于 9 月 20 日,一个正在接受训练的 AI 研究模型利用 DNS 配置漏洞,成功绕过网络隔离措施,获得有限的互联网访问权限。OpenAI 随后紧急叫停旗下能力最强模型的训练与评估,停训时间长达 11 天。

为加快干预,OpenAI 建立了“控制室”(Control Room)系统:在收到停止指令后,可在 35 秒内停止研究工作负载的后续模型输出;该控制直接部署在推理基础设施中,不依赖各研究任务自行实现关停机制。

在模型进入内部部署后,OpenAI 员工可让其访问更广泛的互联网、Slack、代码库及内部基础设施,风险也随之上升。公司表示,此时将更依赖模型对齐、系统级防护和实时监控,重点防范绕过安全限制、数据外泄及向未授权目的地发送敏感信息等行为。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
房地产一旦撑不住,明年国内房价或许会碰到三个大难题 卖房救急的人,得先借钱救急

房地产一旦撑不住,明年国内房价或许会碰到三个大难题 卖房救急的人,得先借钱救急

新国学文化
2026-11-17 11:36:37
伊朗宣布重大战果:活捉了!

伊朗宣布重大战果:活捉了!

有态度的何总
2026-11-17 19:30:31
日韩主要股指集体收涨

日韩主要股指集体收涨

澎湃新闻
2026-11-19 15:19:43
泰国总理阿努廷,重返广东家乡十分激动,脱口而出粤语:猴开森

泰国总理阿努廷,重返广东家乡十分激动,脱口而出粤语:猴开森

巷北楠猫本尊
2026-11-19 17:20:06
特朗普:莫迪是一个非常强硬的人,而高市早苗可能还要更强硬

特朗普:莫迪是一个非常强硬的人,而高市早苗可能还要更强硬

悦心知足
2026-11-19 05:23:48
中美元首会晤美方官员曝光!鲁比奥贝森特等在列

中美元首会晤美方官员曝光!鲁比奥贝森特等在列

看看新闻Knews
2026-11-19 15:21:00
上汽高端大型SUV官宣,15万就有百万气场!

上汽高端大型SUV官宣,15万就有百万气场!

米粒说车唯一呀
2026-11-19 15:04:38
重磅截胡!波切蒂诺钦点曼联首签!硬抢阿森纳头号目标

重磅截胡!波切蒂诺钦点曼联首签!硬抢阿森纳头号目标

澜归序
2026-11-19 11:00:30
婴儿是咋知道这个人是妈妈的?网友:我感觉新生儿谁第一个抱他,就相对好哄些

婴儿是咋知道这个人是妈妈的?网友:我感觉新生儿谁第一个抱他,就相对好哄些

带你感受人间冷暖
2026-11-07 00:05:26
深圳APEC让很多外国人惊喜,印度人的说法最离谱

深圳APEC让很多外国人惊喜,印度人的说法最离谱

世家宝
2026-11-18 20:15:33
贝加尔湖的存在,完全打破了人类对湖泊的常规印象。首先最逆天的是它的深度,最大水深1637米,能淹没两座哈利法塔

贝加尔湖的存在,完全打破了人类对湖泊的常规印象。首先最逆天的是它的深度,最大水深1637米,能淹没两座哈利法塔

扶苏聊历史
2026-11-16 17:44:56
太前卫!学生情侣约定开房,房费一人承担一次,半年男方多次清算订房记录,不愿多出一分,女生哭诉

太前卫!学生情侣约定开房,房费一人承担一次,半年男方多次清算订房记录,不愿多出一分,女生哭诉

蝴蝶花雨话教育
2026-10-29 00:05:14
弗拉格33分剑指詹皇神迹,欧文17+6+5+3,独行侠大胜勇士终结3连败

弗拉格33分剑指詹皇神迹,欧文17+6+5+3,独行侠大胜勇士终结3连败

钉钉陌上花开
2026-11-19 11:36:24
1600块吃一堆羊骨头,商家说“烤干了”。法律上,“火候大”能当免责牌吗?

1600块吃一堆羊骨头,商家说“烤干了”。法律上,“火候大”能当免责牌吗?

马俊哲律师
2026-11-19 10:04:27
《后会友期》:不会点评就别来了,把机会留给伊能静、张泉灵会点评的人

《后会友期》:不会点评就别来了,把机会留给伊能静、张泉灵会点评的人

八卦南风
2026-11-19 17:15:52
公交改革来了!不再全由财政兜底,今后乘车、老年优惠会变吗

公交改革来了!不再全由财政兜底,今后乘车、老年优惠会变吗

铭记历史呀
2026-10-24 00:28:25
卡尼最新表态:称赞中方团队专业理性,美加对话则很直接

卡尼最新表态:称赞中方团队专业理性,美加对话则很直接

观察者网
2026-11-19 16:05:38
韦世豪5个月无球可踢!或再度联手郑智,目睹蓉城丢冠后或洗心革面

韦世豪5个月无球可踢!或再度联手郑智,目睹蓉城丢冠后或洗心革面

奥拜尔
2026-11-19 14:04:27
APEC会后直奔大湾区,越南领导人喊话:非常欢迎中国高科技赴越

APEC会后直奔大湾区,越南领导人喊话:非常欢迎中国高科技赴越

南宗历史
2026-11-19 01:57:42
金饰克价年内暴跌近600元

金饰克价年内暴跌近600元

财联社
2026-11-19 12:12:03
2026-11-19 17:55:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380268文章数 607743关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

APEC宴会桌惊艳:如画卷齐聚上海、北京、深圳三地地标

头条要闻

APEC宴会桌惊艳:如画卷齐聚上海、北京、深圳三地地标

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

北京环球影城,亏损难题待解

汽车要闻

华境S五座版亮相 标配华为乾崑科技和宁德时代电芯

态度原创

手机
教育
时尚
亲子
数码

手机要闻

红魔12 Pro+成功启动《影之刃零》,全低画质游戏帧数来到50-60帧

教育要闻

六年级的学生说简单,五年级的学生说难

0.01分赢下保研,第二天就被室友举报了

亲子要闻

越来越多的幼儿园要关停了,这后面…

数码要闻

厨房油污、床底积灰、满地毛发一台搞定 石头G30S Ultra购机赠配件礼包

无障碍浏览 进入关怀版