网易首页 > 网易号 > 正文 申请入驻

模型自主发动攻击,OpenAI遭遇史上首次评测失控事故

OpenAI遭遇史上首次评测失控事故

0
分享至

来源:市场资讯

(来源:第一财经资讯)

北京时间7月22日,OpenAI CEO山姆·奥尔特曼发文称:“我们在模型评估过程中遭遇了一起重大安全事件。”

一场原本被关在隔离沙箱里的模型安全测试,最终演变成针对全球最大AI开源平台Hugging Face的真实网络攻击。模型在评估中为了“作弊”拿到高分,自主发现并串联多个零日漏洞(0 day,软件厂商尚未知晓、没有发布补丁修复的安全缺陷),逃逸出隔离环境,攻入Hugging Face生产数据库窃取答案。

但在被攻击平台发文数日后,OpenAI才承认责任。

从事件的影响来看,这是行业首次公开披露,模型评测失控直接升级为跨企业真实生产环境网络攻击的AI安全事件。在业内看来,模型能力越强,失控作恶的潜在威胁越大,传统隔离防护持续承压,自主AI网络攻击或将成为长期常态化风险。


模型测试演变为网络攻击事件

7月13日当周,Hugging Face的生产基础设施遭到入侵。攻击起点是数据处理流水线——一个恶意数据集利用远程代码数据集加载器和数据集配置中的模板注入两处代码执行路径,在工作节点上成功执行了代码。攻击者在周末期间提升至节点级权限,收割云和集群凭证,横向移动至多个内部集群。

整场攻击从头到尾由一套自主AI Agent系统端到端驱动。攻击者使用了大量短生命周期沙箱组成的智能体集群,执行了数千个独立动作,将命令与控制信道自我迁移、寄生在公共服务上。

7月16日,Hugging Face首次披露此次入侵,称其“与我们之前处理过的任何情况都不同”,因为“它从头到尾都是由一个自主AI智能体系统驱动的”。

7月22日,OpenAI发文承认责任。调查显示,这起事件由一组OpenAI模型共同驱动——包括GPT-5.6 Sol及一款能力更强的预发布模型。这些模型当时正在一项旨在量化网络攻击能力的内部评估中测试,测试基准名为“ExploitGym”。为了评估模型的“最大网络攻击极限”,OpenAI特意关闭了生产级的安全拒绝分类器。

评估过程中,模型为了在测试中“作弊”拿到高分,耗费大量推理算力寻找逃逸途径。它识别并利用了内部包注册表缓存代理中的一个零日漏洞,随后在OpenAI研究测试环境中完成特权提升与横向移动,成功连接到外网。OpenAI表示:“模型极度专注于为ExploitGym寻找解法,为了达到一个相当狭窄的测试目标,走到了极致。”

联网后,模型推断Hugging Face可能托管了ExploitGym的测试答案与数据集,随即串联窃取凭据与Hugging Face服务器上的零日漏洞,成功构建远程代码执行路径,直接从Hugging Face的生产数据库中窃取测试解法。

OpenAI安全团队在内部首先发现异常活动,Hugging Face的安全团队及自动化Agent也及时捕捉并阻止了入侵。双方随后启动联合取证调查。

在取证阶段,Hugging Face安全团队需要分析超过1.7万条攻击日志、恶意代码及攻击指令,以重建攻击路径、识别受影响资产。

团队最初尝试使用商业前沿大模型API进行分析,但由于日志中包含真实攻击命令、漏洞利用载荷及C2痕迹数据,请求被服务商的安全护栏拦截。Hugging Face在报告中称:“分析需要提交大量真实的攻击命令、漏洞利用载荷以及C2痕迹数据,而这些请求被服务提供商的安全护栏拦截了——它们无法区分事件响应者和攻击者。”

Hugging Face方面披露称:团队在自有基础设施上部署开源模型GLM-5.2,完成了全部取证分析,将通常需数天的取证工作压缩至数小时。官方指出,这样做还有一个额外优势——攻击数据及涉及的凭证始终保留在本地环境,没有离开企业基础设施。

网络安全风险指数级提升

行业人士分析称:OpenAI此次网络安全事件暴露了多重风险。

其一便是AI的自主攻击能力已从理论走向现实。模型在没有人类显式指示攻击特定目标的情况下,仅凭“求解测试题”的目标驱动,便能自主推理出作弊逻辑并选择攻击真实世界第三方基础设施。OpenAI研究员Micah Carroll在回应中写道:“如果这都不能让你相信错位风险将成为未来的关键隐忧,那我真不知道什么才可以。”

其次,安全护栏的“不对称困境”正在成为结构性问题。攻击者可以使用完全不受限的模型,而防御方使用的商用模型却被内置护栏层层过滤。Hugging Face遭遇的困境揭示了一个被反复争论却很少被实战检验的问题:大模型的“安全护栏”,究竟是在保护用户,还是在制造单方面的脆弱性?

但该可能性早在今年4月便在Anthropic发布的大模型官方完整评测白皮书《System Card: Claude Mythos Preview》中得以披露。信息安全研究员关傲男(Aonan Guan)对第一财经记者表示,该文章表明,即便是运行在沙箱环境的AI Agent也可以利用当前运行环境的信息,快速构建一个可以利用的逃逸漏洞来完成目标。模型本身并不是为了逃逸,但因为模型的强化学习训练结果是完成目标。所以为了完成给定的“任务”, 模型选择通过逃逸来达成目标。

360集团首席科学家、集团高级副总裁潘剑锋对记者表示,去年大家还在怀疑AI能不能干好漏洞挖掘的活儿,今年AI漏洞挖掘已经把安全人员逼到了墙角。传统安全面临的挑战不只是攻击手段增多、攻击速度加快,更深层的原因是计算逻辑发生了变化——大模型让计算从确定走向了不确定,模型能够直接处理模糊、开放、充满变化的真实世界任务。因此,智能体时代的安全目标需要从“防御确定威胁”转向“管控不确定性”。

关傲男对记者表示,前沿模型可以做到在没有软件源码的情况下自动对网站进行黑盒测试和网络渗透,也能对软件进行逆向分析,且效果比很多传统逆向工具更好。在GPT-5.6 Sol发布后,用很简单的一句话就能找到一些核心系统的零日漏洞,“这已经是一种武器化的方式了”。

他同时指出,美国前沿实验室的选择值得学习——在提供代码能力的同时,人为地对模型在网络安全和敏感请求上进行降级,并增加监控和管理,避免用户将AI武器化。

Hugging Face在复盘中建议,企业应提前准备能够在本地基础设施运行的模型,以便在安全事件等关键场景下开展分析工作,同时保障敏感数据留存在企业环境内。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
乒超首场大爆冷!王楚钦单打1:2输球,无缘开门红,梁靖崑男双1:2

乒超首场大爆冷!王楚钦单打1:2输球,无缘开门红,梁靖崑男双1:2

国乒二三事
2026-07-23 12:26:29
人伦大乱正在毁掉无数中国家庭:3种乱象就在日常,拖垮一家人

人伦大乱正在毁掉无数中国家庭:3种乱象就在日常,拖垮一家人

阿凯销售场
2026-07-04 15:35:28
人能活多久看头发就知道:医生直言:寿命长的人,头发有这些特征

人能活多久看头发就知道:医生直言:寿命长的人,头发有这些特征

叙说医疗健康
2026-07-14 07:00:09
热媒:因骑士勇士均不愿接手戴维斯,热火领跑詹姆斯争夺

热媒:因骑士勇士均不愿接手戴维斯,热火领跑詹姆斯争夺

林子说事
2026-07-23 08:24:24
热身赛!中国男篮VS喀麦隆,传来3好消息1坏消息,郭士强迎强援

热身赛!中国男篮VS喀麦隆,传来3好消息1坏消息,郭士强迎强援

小皷拍客在北漂
2026-07-23 05:17:32
燃油车,终于又杀回来了!

燃油车,终于又杀回来了!

大佬灼见
2026-07-23 13:39:14
金巧巧直播喊话:“沈阳的那个谁,你欠我爸爸60万,赶紧还钱!”原来她的难,你想不到

金巧巧直播喊话:“沈阳的那个谁,你欠我爸爸60万,赶紧还钱!”原来她的难,你想不到

她时尚丫
2026-07-21 20:44:10
复测问界M9续航,懂车帝又来打脸问界?

复测问界M9续航,懂车帝又来打脸问界?

大佬灼见
2026-07-23 13:40:52
乌军换帅后扎卢日内开口:新总司令面对的任务“极其困难”

乌军换帅后扎卢日内开口:新总司令面对的任务“极其困难”

桂系007
2026-07-22 23:24:04
身价破亿!19岁成为当今足坛最昂贵后卫,历史第三人前途无可限量

身价破亿!19岁成为当今足坛最昂贵后卫,历史第三人前途无可限量

体坛老球迷
2026-07-23 09:53:05
清华丘成桐班清退预科学生后续,网传数十家长诉求被丘成桐驳回

清华丘成桐班清退预科学生后续,网传数十家长诉求被丘成桐驳回

趣笔谈
2026-07-23 10:08:28
万万没想到!朱芳雨空降天津上任新岗,这步退路走得妙啊

万万没想到!朱芳雨空降天津上任新岗,这步退路走得妙啊

酷侃体坛
2026-07-23 13:23:52
一封家长感谢信刷屏!深圳一小学老师查看监控意外发现:全班44名学生接力陪伴,托举低谷中的同班少年

一封家长感谢信刷屏!深圳一小学老师查看监控意外发现:全班44名学生接力陪伴,托举低谷中的同班少年

深圳晚报
2026-07-23 10:29:40
中国足协:深表遗憾

中国足协:深表遗憾

吉刻新闻
2026-07-23 00:08:05
寿命多长,看血型?B型血平均年龄77岁,第一名令人意外

寿命多长,看血型?B型血平均年龄77岁,第一名令人意外

小胡军事爱好
2026-07-23 09:02:37
19岁网红撸铁只撸半边身体,320天后成功把自己练歪了

19岁网红撸铁只撸半边身体,320天后成功把自己练歪了

新欧洲
2026-07-22 20:38:03
谢贤葬礼,张柏芝不进灵堂只送孩子,这才是成年人最高级的体面

谢贤葬礼,张柏芝不进灵堂只送孩子,这才是成年人最高级的体面

可乐谈情感
2026-07-23 06:32:25
几乎都是假货!利润高达2400%,可为何消费者还争相购买?

几乎都是假货!利润高达2400%,可为何消费者还争相购买?

小熊侃史
2026-04-09 09:36:50
万万没想到!王楚钦奥运梦碎?男单席位基本没戏了,太残酷

万万没想到!王楚钦奥运梦碎?男单席位基本没戏了,太残酷

十点体坛
2026-07-23 13:24:41
艾滋病全球防线突然溃败:不是病毒变强了,是有钱人不再害怕了

艾滋病全球防线突然溃败:不是病毒变强了,是有钱人不再害怕了

过期少女致幻录
2026-07-14 00:41:11
2026-07-23 18:39:00
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
4184506文章数 8974关注度
往期回顾 全部

科技要闻

梁文锋:DeepSeek不争超级App,只押注AGI

头条要闻

飞机备降373名乘客被困机舱超10小时 后续航班未起飞

头条要闻

飞机备降373名乘客被困机舱超10小时 后续航班未起飞

体育要闻

勇士24岁的MVP,也是个勒布朗?

娱乐要闻

梁朝伟汤唯19年后境遇反转

财经要闻

梁文锋当不成赛博圣人

汽车要闻

长安下半场的蓄力 来自精准的配速策略

态度原创

健康
艺术
亲子
数码
旅游

我是不是中风高风险人群?快速自测

艺术要闻

赵孟頫临终前,写出行书“巅峰之作”,价值高达1200万,喷子都被震撼了!

亲子要闻

听鉴世界|研究显示:儿童入睡太晚容易损伤大脑

数码要闻

阿斯加特国产颗粒DDR5内存条在华硕主板实现8800MT/s超频

旅游要闻

受天气影响!开封龙亭景区今日调整运营时间

无障碍浏览 进入关怀版