网易首页 > 网易号 > 正文 申请入驻

模型自主发动攻击,OpenAI遭遇史上首次评测失控事故

0
分享至

北京时间7月22日,OpenAI CEO山姆·奥尔特曼发文称:“我们在模型评估过程中遭遇了一起重大安全事件。”

一场原本被关在隔离沙箱里的模型安全测试,最终演变成针对全球最大AI开源平台Hugging Face的真实网络攻击。模型在评估中为了“作弊”拿到高分,自主发现并串联多个零日漏洞(0 day,软件厂商尚未知晓、没有发布补丁修复的安全缺陷),逃逸出隔离环境,攻入Hugging Face生产数据库窃取答案。

但在被攻击平台发文数日后,OpenAI才承认责任。

从事件的影响来看,这是行业首次公开披露,模型评测失控直接升级为跨企业真实生产环境网络攻击的AI安全事件。在业内看来,模型能力越强,失控作恶的潜在威胁越大,传统隔离防护持续承压,自主AI网络攻击或将成为长期常态化风险。



模型测试演变为网络攻击事件

7月13日当周,Hugging Face的生产基础设施遭到入侵。攻击起点是数据处理流水线——一个恶意数据集利用远程代码数据集加载器和数据集配置中的模板注入两处代码执行路径,在工作节点上成功执行了代码。攻击者在周末期间提升至节点级权限,收割云和集群凭证,横向移动至多个内部集群。

整场攻击从头到尾由一套自主AI Agent系统端到端驱动。攻击者使用了大量短生命周期沙箱组成的智能体集群,执行了数千个独立动作,将命令与控制信道自我迁移、寄生在公共服务上。

7月16日,Hugging Face首次披露此次入侵,称其“与我们之前处理过的任何情况都不同”,因为“它从头到尾都是由一个自主AI智能体系统驱动的”。

7月22日,OpenAI发文承认责任。调查显示,这起事件由一组OpenAI模型共同驱动——包括GPT-5.6 Sol及一款能力更强的预发布模型。这些模型当时正在一项旨在量化网络攻击能力的内部评估中测试,测试基准名为“ExploitGym”。为了评估模型的“最大网络攻击极限”,OpenAI特意关闭了生产级的安全拒绝分类器。

评估过程中,模型为了在测试中“作弊”拿到高分,耗费大量推理算力寻找逃逸途径。它识别并利用了内部包注册表缓存代理中的一个零日漏洞,随后在OpenAI研究测试环境中完成特权提升与横向移动,成功连接到外网。OpenAI表示:“模型极度专注于为ExploitGym寻找解法,为了达到一个相当狭窄的测试目标,走到了极致。”

联网后,模型推断Hugging Face可能托管了ExploitGym的测试答案与数据集,随即串联窃取凭据与Hugging Face服务器上的零日漏洞,成功构建远程代码执行路径,直接从Hugging Face的生产数据库中窃取测试解法。

OpenAI安全团队在内部首先发现异常活动,Hugging Face的安全团队及自动化Agent也及时捕捉并阻止了入侵。双方随后启动联合取证调查。

在取证阶段,Hugging Face安全团队需要分析超过1.7万条攻击日志、恶意代码及攻击指令,以重建攻击路径、识别受影响资产。

团队最初尝试使用商业前沿大模型API进行分析,但由于日志中包含真实攻击命令、漏洞利用载荷及C2痕迹数据,请求被服务商的安全护栏拦截。Hugging Face在报告中称:“分析需要提交大量真实的攻击命令、漏洞利用载荷以及C2痕迹数据,而这些请求被服务提供商的安全护栏拦截了——它们无法区分事件响应者和攻击者。”

Hugging Face方面披露称:团队在自有基础设施上部署开源模型GLM-5.2,完成了全部取证分析,将通常需数天的取证工作压缩至数小时。官方指出,这样做还有一个额外优势——攻击数据及涉及的凭证始终保留在本地环境,没有离开企业基础设施。

网络安全风险指数级提升

行业人士分析称:OpenAI此次网络安全事件暴露了多重风险。

其一便是AI的自主攻击能力已从理论走向现实。模型在没有人类显式指示攻击特定目标的情况下,仅凭“求解测试题”的目标驱动,便能自主推理出作弊逻辑并选择攻击真实世界第三方基础设施。OpenAI研究员Micah Carroll在回应中写道:“如果这都不能让你相信错位风险将成为未来的关键隐忧,那我真不知道什么才可以。”

其次,安全护栏的“不对称困境”正在成为结构性问题。攻击者可以使用完全不受限的模型,而防御方使用的商用模型却被内置护栏层层过滤。Hugging Face遭遇的困境揭示了一个被反复争论却很少被实战检验的问题:大模型的“安全护栏”,究竟是在保护用户,还是在制造单方面的脆弱性?

但该可能性早在今年4月便在Anthropic发布的大模型官方完整评测白皮书《System Card: Claude Mythos Preview》中得以披露。信息安全研究员关傲男(Aonan Guan)对第一财经记者表示,该文章表明,即便是运行在沙箱环境的AI Agent也可以利用当前运行环境的信息,快速构建一个可以利用的逃逸漏洞来完成目标。模型本身并不是为了逃逸,但因为模型的强化学习训练结果是完成目标。所以为了完成给定的“任务”, 模型选择通过逃逸来达成目标。

360集团首席科学家、集团高级副总裁潘剑锋对记者表示,去年大家还在怀疑AI能不能干好漏洞挖掘的活儿,今年AI漏洞挖掘已经把安全人员逼到了墙角。传统安全面临的挑战不只是攻击手段增多、攻击速度加快,更深层的原因是计算逻辑发生了变化——大模型让计算从确定走向了不确定,模型能够直接处理模糊、开放、充满变化的真实世界任务。因此,智能体时代的安全目标需要从“防御确定威胁”转向“管控不确定性”。

关傲男对记者表示,前沿模型可以做到在没有软件源码的情况下自动对网站进行黑盒测试和网络渗透,也能对软件进行逆向分析,且效果比很多传统逆向工具更好。在GPT-5.6 Sol发布后,用很简单的一句话就能找到一些核心系统的零日漏洞,“这已经是一种武器化的方式了”。

他同时指出,美国前沿实验室的选择值得学习——在提供代码能力的同时,人为地对模型在网络安全和敏感请求上进行降级,并增加监控和管理,避免用户将AI武器化。

Hugging Face在复盘中建议,企业应提前准备能够在本地基础设施运行的模型,以便在安全事件等关键场景下开展分析工作,同时保障敏感数据留存在企业环境内。

来源:第一财经

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
身上没有“老年臭”的人,通常有5个习惯,若你也一样,值得高兴

身上没有“老年臭”的人,通常有5个习惯,若你也一样,值得高兴

橘子约定
2026-07-20 21:32:16
“我好恨我妈!”女孩被调剂到厦大“看脸专业”:都是她的错!

“我好恨我妈!”女孩被调剂到厦大“看脸专业”:都是她的错!

熙熙说教
2026-07-21 15:42:44
菲律宾伤员撤离仁爱礁,一脸横肉,满脸不服

菲律宾伤员撤离仁爱礁,一脸横肉,满脸不服

阿龙聊军事
2026-07-22 10:49:56
许家印再爆大雷!谁能想到认罪仅3个月,转眼他又迎来一个坏消息

许家印再爆大雷!谁能想到认罪仅3个月,转眼他又迎来一个坏消息

小柨拍客在北漂
2026-07-23 00:15:33
7月23日人民币对美元中间价调升27个基点

7月23日人民币对美元中间价调升27个基点

证券时报
2026-07-23 09:34:09
你见过人性最阴暗的一面是啥样?网友:这种人,还是让他活太久了

你见过人性最阴暗的一面是啥样?网友:这种人,还是让他活太久了

解读热点事件
2026-07-19 00:31:00
A股:突然缩量调整,做好准备了,不出意外,下午很可能这样走

A股:突然缩量调整,做好准备了,不出意外,下午很可能这样走

虎哥闲聊
2026-07-23 11:32:42
巨星的世界!世界杯结束后,六人身价超1.5亿,这三人已达2亿

巨星的世界!世界杯结束后,六人身价超1.5亿,这三人已达2亿

篮球圈里的那些事
2026-07-23 11:40:41
2026号1号文件:严禁上级机关事业单位从基层借调职工!

2026号1号文件:严禁上级机关事业单位从基层借调职工!

细说职场
2026-07-23 13:44:11
李连杰一家三口拜见仁波切,64岁利智许久不见,颜值回春如昔日!

李连杰一家三口拜见仁波切,64岁利智许久不见,颜值回春如昔日!

娱乐团长
2026-06-02 15:09:12
俄媒女主持人曾言:若中国愿出兵300万,俄军很快就能打败乌克兰

俄媒女主持人曾言:若中国愿出兵300万,俄军很快就能打败乌克兰

南宗历史
2026-03-17 16:53:10
少妇与堂弟奸情败露怒杀夫,藏尸枯井逍遥五年,家暴女童揭开真相

少妇与堂弟奸情败露怒杀夫,藏尸枯井逍遥五年,家暴女童揭开真相

易玄
2026-07-23 08:41:44
谢贤去世最大遗憾曝光,谢霆锋违背生前意愿,张柏芝态度出人意料

谢贤去世最大遗憾曝光,谢霆锋违背生前意愿,张柏芝态度出人意料

东方不败然多多
2026-07-22 16:04:25
刘鹏春去世,享年77岁

刘鹏春去世,享年77岁

鲁中晨报
2026-07-22 18:12:11
缺额超8800人!江西本科批首轮征集志愿出炉,民办高校大面积爆冷

缺额超8800人!江西本科批首轮征集志愿出炉,民办高校大面积爆冷

百家论大学
2026-07-23 12:06:30
22岁真人秀女星为流量,直接一丝不挂走上城市街道,全程自拍直播

22岁真人秀女星为流量,直接一丝不挂走上城市街道,全程自拍直播

西楼知趣杂谈
2026-07-21 20:35:49
正式离队!31岁后卫告别广东宏远,加盟新球队

正式离队!31岁后卫告别广东宏远,加盟新球队

泥说体育
2026-07-23 09:34:57
短短17天练出麒麟臂!谢泼德透露一直与KD合练 造型看齐海王欲争先发

短短17天练出麒麟臂!谢泼德透露一直与KD合练 造型看齐海王欲争先发

颜小白的篮球梦
2026-07-23 12:27:12
万万没想到!朱芳雨空降天津上任新岗,这步退路走得妙啊

万万没想到!朱芳雨空降天津上任新岗,这步退路走得妙啊

酷侃体坛
2026-07-23 13:23:52
太突然!朝阳56跟柱子被拆除!

太突然!朝阳56跟柱子被拆除!

朝阳通
2026-07-23 13:58:39
2026-07-23 15:56:49
经参 incentive-icons
经参
以经济参考为统领,聚焦深度报道,观点报道和国际报道
1232文章数 97关注度
往期回顾 全部

科技要闻

梁文锋:DeepSeek不争超级App,只押注AGI

头条要闻

填报志愿没看清楚本部和分校 山东644分考生或将复读

头条要闻

填报志愿没看清楚本部和分校 山东644分考生或将复读

体育要闻

勇士24岁的MVP,也是个勒布朗?

娱乐要闻

冉莹颖回应债务还清后是否会离婚

财经要闻

年内港股最大IPO,中际旭创估值重塑?

汽车要闻

动力狂 脾气稳 海豹08有点上头

态度原创

手机
教育
家居
游戏
军事航空

手机要闻

谷歌Gemini跌出全球排名前十:上新旗舰3.5 Pro再度缺席

教育要闻

一所中学和它的24个“AI同事”

家居要闻

2026建博会(广州) 公装联探展交流活动

《P4R》中文声优采访:重心是完整诠释剧情

军事要闻

"镐山"之后美再威胁袭伊基础设施 伊朗:将以牙还牙

无障碍浏览 进入关怀版