网易首页 > 网易号 > 正文 申请入驻

模型自主发动攻击,OpenAI遭遇史上首次评测失控事故

0
分享至

北京时间7月22日,OpenAI CEO山姆·奥尔特曼发文称:“我们在模型评估过程中遭遇了一起重大安全事件。”

一场原本被关在隔离沙箱里的模型安全测试,最终演变成针对全球最大AI开源平台Hugging Face的真实网络攻击。模型在评估中为了“作弊”拿到高分,自主发现并串联多个零日漏洞(0 day,软件厂商尚未知晓、没有发布补丁修复的安全缺陷),逃逸出隔离环境,攻入Hugging Face生产数据库窃取答案。

但在被攻击平台发文数日后,OpenAI才承认责任。

从事件的影响来看,这是行业首次公开披露,模型评测失控直接升级为跨企业真实生产环境网络攻击的AI安全事件。在业内看来,模型能力越强,失控作恶的潜在威胁越大,传统隔离防护持续承压,自主AI网络攻击或将成为长期常态化风险。


模型测试演变为网络攻击事件

7月13日当周,Hugging Face的生产基础设施遭到入侵。攻击起点是数据处理流水线——一个恶意数据集利用远程代码数据集加载器和数据集配置中的模板注入两处代码执行路径,在工作节点上成功执行了代码。攻击者在周末期间提升至节点级权限,收割云和集群凭证,横向移动至多个内部集群。

整场攻击从头到尾由一套自主AI Agent系统端到端驱动。攻击者使用了大量短生命周期沙箱组成的智能体集群,执行了数千个独立动作,将命令与控制信道自我迁移、寄生在公共服务上。

7月16日,Hugging Face首次披露此次入侵,称其“与我们之前处理过的任何情况都不同”,因为“它从头到尾都是由一个自主AI智能体系统驱动的”。

7月22日,OpenAI发文承认责任。调查显示,这起事件由一组OpenAI模型共同驱动——包括GPT-5.6 Sol及一款能力更强的预发布模型。这些模型当时正在一项旨在量化网络攻击能力的内部评估中测试,测试基准名为“ExploitGym”。为了评估模型的“最大网络攻击极限”,OpenAI特意关闭了生产级的安全拒绝分类器。

评估过程中,模型为了在测试中“作弊”拿到高分,耗费大量推理算力寻找逃逸途径。它识别并利用了内部包注册表缓存代理中的一个零日漏洞,随后在OpenAI研究测试环境中完成特权提升与横向移动,成功连接到外网。OpenAI表示:“模型极度专注于为ExploitGym寻找解法,为了达到一个相当狭窄的测试目标,走到了极致。”

联网后,模型推断Hugging Face可能托管了ExploitGym的测试答案与数据集,随即串联窃取凭据与Hugging Face服务器上的零日漏洞,成功构建远程代码执行路径,直接从Hugging Face的生产数据库中窃取测试解法。

OpenAI安全团队在内部首先发现异常活动,Hugging Face的安全团队及自动化Agent也及时捕捉并阻止了入侵。双方随后启动联合取证调查。

在取证阶段,Hugging Face安全团队需要分析超过1.7万条攻击日志、恶意代码及攻击指令,以重建攻击路径、识别受影响资产。

团队最初尝试使用商业前沿大模型API进行分析,但由于日志中包含真实攻击命令、漏洞利用载荷及C2痕迹数据,请求被服务商的安全护栏拦截。Hugging Face在报告中称:“分析需要提交大量真实的攻击命令、漏洞利用载荷以及C2痕迹数据,而这些请求被服务提供商的安全护栏拦截了——它们无法区分事件响应者和攻击者。”

Hugging Face方面披露称:团队在自有基础设施上部署开源模型GLM-5.2,完成了全部取证分析,将通常需数天的取证工作压缩至数小时。官方指出,这样做还有一个额外优势——攻击数据及涉及的凭证始终保留在本地环境,没有离开企业基础设施。

网络安全风险指数级提升

行业人士分析称:OpenAI此次网络安全事件暴露了多重风险。

其一便是AI的自主攻击能力已从理论走向现实。模型在没有人类显式指示攻击特定目标的情况下,仅凭“求解测试题”的目标驱动,便能自主推理出作弊逻辑并选择攻击真实世界第三方基础设施。OpenAI研究员Micah Carroll在回应中写道:“如果这都不能让你相信错位风险将成为未来的关键隐忧,那我真不知道什么才可以。”

其次,安全护栏的“不对称困境”正在成为结构性问题。攻击者可以使用完全不受限的模型,而防御方使用的商用模型却被内置护栏层层过滤。Hugging Face遭遇的困境揭示了一个被反复争论却很少被实战检验的问题:大模型的“安全护栏”,究竟是在保护用户,还是在制造单方面的脆弱性?

但该可能性早在今年4月便在Anthropic发布的大模型官方完整评测白皮书《System Card: Claude Mythos Preview》中得以披露。信息安全研究员关傲男(Aonan Guan)对第一财经记者表示,该文章表明,即便是运行在沙箱环境的AI Agent也可以利用当前运行环境的信息,快速构建一个可以利用的逃逸漏洞来完成目标。模型本身并不是为了逃逸,但因为模型的强化学习训练结果是完成目标。所以为了完成给定的“任务”, 模型选择通过逃逸来达成目标。

360集团首席科学家、集团高级副总裁潘剑锋对记者表示,去年大家还在怀疑AI能不能干好漏洞挖掘的活儿,今年AI漏洞挖掘已经把安全人员逼到了墙角。传统安全面临的挑战不只是攻击手段增多、攻击速度加快,更深层的原因是计算逻辑发生了变化——大模型让计算从确定走向了不确定,模型能够直接处理模糊、开放、充满变化的真实世界任务。因此,智能体时代的安全目标需要从“防御确定威胁”转向“管控不确定性”。

关傲男对记者表示,前沿模型可以做到在没有软件源码的情况下自动对网站进行黑盒测试和网络渗透,也能对软件进行逆向分析,且效果比很多传统逆向工具更好。在GPT-5.6 Sol发布后,用很简单的一句话就能找到一些核心系统的零日漏洞,“这已经是一种武器化的方式了”。

他同时指出,美国前沿实验室的选择值得学习——在提供代码能力的同时,人为地对模型在网络安全和敏感请求上进行降级,并增加监控和管理,避免用户将AI武器化。

Hugging Face在复盘中建议,企业应提前准备能够在本地基础设施运行的模型,以便在安全事件等关键场景下开展分析工作,同时保障敏感数据留存在企业环境内。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
敬一丹葬礼结束现场一片狼藉,女儿丈夫迟迟不肯离去,倪萍曝隐情

敬一丹葬礼结束现场一片狼藉,女儿丈夫迟迟不肯离去,倪萍曝隐情

古事寻踪记
2026-09-18 11:35:10
高铁女孩熟睡男生盯死手机不敢转头,两百万外网围观无声的人机对峙,藏着成年人不敢破冰的社交尴尬防线

高铁女孩熟睡男生盯死手机不敢转头,两百万外网围观无声的人机对峙,藏着成年人不敢破冰的社交尴尬防线

明话直说
2026-08-25 18:07:55
马龙:本以为有2个儿子已经够幸福,没成想,现在幸福又升级了

马龙:本以为有2个儿子已经够幸福,没成想,现在幸福又升级了

萧鑟科普解说
2026-09-18 04:54:32
在联赛里大杀四方,在国家队却持续“隐身”!19岁新星接班武磊恐成笑话

在联赛里大杀四方,在国家队却持续“隐身”!19岁新星接班武磊恐成笑话

兵哥篮球故事
2026-09-18 13:09:07
男子钓鱼买1斤蚯蚓放后备箱近百条蚯蚓出逃,车主发声:4s店报价拆车清洗要大几千

男子钓鱼买1斤蚯蚓放后备箱近百条蚯蚓出逃,车主发声:4s店报价拆车清洗要大几千

大众网
2026-09-17 11:12:35
辽宁富豪一家被灭门,保姆装死幸存,15年后才敢说出当晚实情

辽宁富豪一家被灭门,保姆装死幸存,15年后才敢说出当晚实情

悬案解密档案
2025-04-02 11:31:49
南海填海工程迎来重大巨变,美国直呼不可思议

南海填海工程迎来重大巨变,美国直呼不可思议

花小猫的美食日常
2026-09-18 09:42:44
我和前妻离婚半年了,昨晚喝醉后给她发了条信息:能回来睡一晚吗

我和前妻离婚半年了,昨晚喝醉后给她发了条信息:能回来睡一晚吗

千秋文化
2026-08-24 20:22:09
只活了一集,却征服全网!上海女演员凭实力圈粉!她眼中的上海味道,出人意料

只活了一集,却征服全网!上海女演员凭实力圈粉!她眼中的上海味道,出人意料

上观新闻
2026-09-18 15:36:32
万亿宁德时代迎至暗时刻:深陷舆论风暴,市值蒸发7000亿,理想、小米等多家车企“去宁化”,风波中的赛力斯坚守

万亿宁德时代迎至暗时刻:深陷舆论风暴,市值蒸发7000亿,理想、小米等多家车企“去宁化”,风波中的赛力斯坚守

金融界
2026-09-18 20:48:18
日本啤酒上的辛口是什么意思?

日本啤酒上的辛口是什么意思?

日本通
2026-08-11 15:06:27
最新进展:“景甜复工”引评论区很不满,景甜发图:易如反掌全能姐!

最新进展:“景甜复工”引评论区很不满,景甜发图:易如反掌全能姐!

默默有话说
2026-09-17 13:18:43
勇哥要成为下一个贾国龙了

勇哥要成为下一个贾国龙了

智先生
2026-09-17 22:32:47
我75岁,存款300多万,血的教训告诫我:再亲的亲人也要留个心眼

我75岁,存款300多万,血的教训告诫我:再亲的亲人也要留个心眼

千秋文化
2026-06-12 20:21:36
央媒记者怒斥亚运会:日本非蠢即坏!知小礼无大义?小礼都没了

央媒记者怒斥亚运会:日本非蠢即坏!知小礼无大义?小礼都没了

念洲
2026-09-18 13:12:36
手机,要变天了

手机,要变天了

牛弹琴
2026-09-16 06:22:20
英国国防参谋长:俄罗斯现在的军事实力比任何时候都更强大

英国国防参谋长:俄罗斯现在的军事实力比任何时候都更强大

梦在深巷aqa
2026-09-18 22:45:46
最扎心的不是失业,是社保年限从15年涨到20年

最扎心的不是失业,是社保年限从15年涨到20年

细说职场
2026-09-16 16:15:54
曹可凡不再隐瞒!发文揭开刘翔私下人品,原来孙海平当初没说谎

曹可凡不再隐瞒!发文揭开刘翔私下人品,原来孙海平当初没说谎

草莓信箱
2026-09-16 16:31:27
9月18日,在人社部、财政部2026年退休人员养老金调整通知正式落地前,已有近20个省份率先公布2026年社保缴费基数

9月18日,在人社部、财政部2026年退休人员养老金调整通知正式落地前,已有近20个省份率先公布2026年社保缴费基数

扶苏聊历史
2026-09-18 14:26:25
2026-09-19 02:12:49
第一财经资讯 incentive-icons
第一财经资讯
第一财经官方账号
266959文章数 623640关注度
往期回顾 全部

科技要闻

直击iPhone 18新机发售:黄牛加价不如前代

头条要闻

俄杜马选举拉夫罗夫"意外"登顶名单 梅德韦杰夫被拿下

头条要闻

俄杜马选举拉夫罗夫"意外"登顶名单 梅德韦杰夫被拿下

体育要闻

好吧,中国男篮辛苦了

娱乐要闻

陈思诚 佟丽娅不想让儿子知道两人离婚

财经要闻

研发0.25亿理财26亿,敷尔佳豪赌三类器械

汽车要闻

纯电/插混双动力+五座/六座双布局 海狮08应该怎么选?

态度原创

家居
房产
健康
数码
旅游

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

海口房价,降不动了!

脑动脉瘤的治疗方法,该选哪一种?

数码要闻

Realforce静电容键盘GX1 Plus皮卡丘版亮相TGS2026

旅游要闻

510万元/人、6天行程、681份售出!

无障碍浏览 进入关怀版