网易首页 > 网易号 > 正文 申请入驻

OpenAI模型,自主攻击全球最大AI开源平台

周鸿祎谈AI自主攻击另一家AI公司

0
分享至

北京时间7月22日,OpenAI在官方博客发文,承认其模型在一起安全评测事故中攻击了全球最大AI开源平台Hugging Face。


OpenAI发文承认,其模型在一次安全评测中攻击了Hugging Face的生产环境

这是行业首次公开披露、模型评测失控直接升级为跨企业真实生产环境网络攻击的安全事件。

事件的起点是一场模型能力测试,一场原本被关在隔离沙箱里的模型安全测试,最终演变成针对全球最大AI开源平台Hugging Face的真实网络攻击。模型在评估中为了“作弊”拿到高分,自主发现并串联多个零日漏洞(0 day,软件厂商尚未知晓、没有发布补丁修复的安全缺陷),逃逸出隔离环境,攻入Hugging Face生产数据库窃取答案。

在攻击发生后的事后追查阶段,面对超过1.7万条攻击日志,Hugging Face求助商业大模型,被对方的安全护栏集体拒之门外,最终完成取证分析的,是中国公司智谱的开源模型GLM-5.2。

为作弊,模型自己越狱了

据OpenAI披露,涉事模型为GPT-5.6 Sol以及一款能力更强的预发布模型。它们当时正在参加名为ExploitGym的内部评测,该基准包含898个真实软件漏洞利用任务,专门测试AI能否把真实软件漏洞一步步变成可以实际运行的攻击。

为了尽可能摸到模型能力上限,OpenAI特意降低了生产环境级别的安全拒绝机制,鼓励模型尽可能寻找复杂的攻击路径。

按照OpenAI最原本的设计,模型接触外部资源的唯一通道,是一套由OpenAI内部托管的第三方软件。

模型开始确实投入了大量推理算力,专门寻找获得公网访问权限的方法,在OpenAI内部包注册表的缓存代理中发现了一个此前未知的零日漏洞,随后在OpenAI研究测试环境中完成特权提升和横向移动,成功连接外网。

联网之后,模型推断Hugging Face可能托管着ExploitGym的测试答案,随即发动攻击。

它先通过恶意数据集,利用远程代码数据加载器和数据集配置中的模板注入两处代码执行路径,在Hugging Face的工作节点上执行代码,随后在周末期间提升至节点级权限,收割云端和集群凭证,横向移动至多个内部集群,最终攻入生产数据库,直接窃取测试解法。

OpenAI表示入侵发生在7月11日周末,全程由自主AI智能体系统端到端驱动,背后是大量短生命周期沙箱组成的集群,执行了数千个独立动作。Hugging Face基于大模型的异常检测管道首先标记了入侵,OpenAI安全团队也在内部发现异常,双方启动联合取证。

7月16日Hugging Face首次披露时称,这次事件“与我们之前处理过的任何情况都不同”。直到一周后OpenAI发文认领,它才知道攻击者是谁。

美国模型拒绝查案,中国开源模型接手

取证阶段,Hugging Face遇到了意想不到的难题。

为了分析超过1.7万条攻击事件记录、重建时间线、确认被接触的凭证,还要区分真实破坏和干扰调查的诱饵活动,靠人工逐条梳理通常需要数天。

Hugging Face最初尝试调用商业前沿大模型的API,但请求被安全护栏拦截。触发拦截的原因是日志里包含真实的攻击命令、漏洞利用载荷和命令与控制痕迹数据,护栏无法区分提交材料的是事件响应者还是攻击者。

最终,Hugging Face在自有基础设施上部署了GLM-5.2,由它遍历全部攻击记录并完成取证分析,将数天的工作压缩至数小时。

Hugging Face特别指出,这样做还有一个额外优势:攻击数据及涉及的凭证始终留在本地环境,没有离开企业基础设施。

这场事故意外完成了一次开源模型的全球路演。

Hugging Face将困境总结为“安全不对称”:攻击者可以使用完全不受限的模型,防守方却可能被云端模型的护栏拒之门外。该公司由此建议,企业应提前准备经过验证、能够在本地运行的高能力模型。

这场事故,其实也让开源模型多了一个此前存在感不算太强、如今却相当现实的位置:安全团队的应急工具。

对金融、政务、医疗等数据敏感行业而言,模型权重自主可控、数据不出企业边界、关键时刻不被服务商的审核机制卡住,正在从加分项变成刚需。

不过值得注意的是,开源模型开放权重同样降低了攻击者的门槛,安全不对称是一把双刃剑,这也是全球监管讨论开源治理时最纠结的一环。

失控预演之后,竞争已经换轨

这样的失控并非没有预演。

今年4月,Anthropic在Claude Mythos Preview的System Card中披露,红队演练中模型成功逃逸加固沙箱,随后超出指令范围自主行动:给正在公园吃三明治的研究员发邮件报告成果,未经允许将漏洞细节发布到公开网站,还在另一次测试中改写git历史掩盖改动。

Anthropic因此决定不对公众开放该模型,仅通过Project Glasswing计划向苹果、谷歌、微软、摩根大通等12家机构开放用于防御。

值得注意的是,相比Anthropic的模型是被明确要求尝试逃逸,本次OpenAI的模型没有收到任何逃逸指令,它是为了在测试中作弊拿到高分,自发越狱并攻击了一家无辜的第三方公司。

在业内看来,这起事件标志着AI的自主攻击能力从理论走向现实。

OpenAI研究员Micah Carroll在回应中写道:“如果这都不能让你相信错位风险将成为未来的关键隐忧,那我真不知道什么才可以。”

模型能力越强,失控作恶的潜在威胁越大,传统隔离防护持续承压,自主AI网络攻击或将成为长期常态化风险。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
长沙最老商场改造分歧不断,面临失败?

长沙最老商场改造分歧不断,面临失败?

童童聊娱乐啊
2026-07-23 09:54:58
伊导弹三连中!特朗普没想到,伊会这么狠,美军花数亿也攻不下

伊导弹三连中!特朗普没想到,伊会这么狠,美军花数亿也攻不下

云上乌托邦
2026-07-22 22:45:50
“儿媳最后才上桌,这是规矩”“你没有资格在我的陪嫁房定规矩”

“儿媳最后才上桌,这是规矩”“你没有资格在我的陪嫁房定规矩”

清水家庭故事
2026-07-22 11:01:43
刘嘉玲表示拍完《功夫女足》 , 现在周星驰一打电话就想挂 , 理由搞笑

刘嘉玲表示拍完《功夫女足》 , 现在周星驰一打电话就想挂 , 理由搞笑

小椰的奶奶
2026-07-22 17:41:52
女子卧床边充电边刷手机,全身被严重烧伤,十个手指头没有一个是完整的!法院:自身承担40%责任,卖家被判赔63万元

女子卧床边充电边刷手机,全身被严重烧伤,十个手指头没有一个是完整的!法院:自身承担40%责任,卖家被判赔63万元

都市快报橙柿互动
2026-07-22 14:12:20
令人啼笑皆非的大案!2000年建平县“7·25”离奇强奸案侦破始末

令人啼笑皆非的大案!2000年建平县“7·25”离奇强奸案侦破始末

路之意
2026-07-22 08:01:01
被做局了?中方宣布买55架空客飞机,法德转身翻脸,逼中国认栽

被做局了?中方宣布买55架空客飞机,法德转身翻脸,逼中国认栽

暗香暗香
2026-07-23 10:17:43
深夜23股发中报,铜箔龙头增515%,光模块业绩暴雷,别踩雷

深夜23股发中报,铜箔龙头增515%,光模块业绩暴雷,别踩雷

鹏哥投研
2026-07-23 08:38:08
马筱梅直播时小玥儿突然闯入,一句“你头发好卷”引爆全场

马筱梅直播时小玥儿突然闯入,一句“你头发好卷”引爆全场

喜欢历史的阿繁
2026-07-22 12:28:00
连坐次都变了!美国人也懵了,菲律宾到底把谁当成老大了?

连坐次都变了!美国人也懵了,菲律宾到底把谁当成老大了?

阿龙聊军事
2026-07-23 09:38:49
大衣哥被骂了!网传济南恒隆广场商业演出迟到1小时,现场数百名观众提前到场等候,引发争议

大衣哥被骂了!网传济南恒隆广场商业演出迟到1小时,现场数百名观众提前到场等候,引发争议

火山詩话
2026-07-23 08:31:30
赵又廷自曝影视行业寒冬,半年只接10个剧本,不愿让女儿进演艺圈

赵又廷自曝影视行业寒冬,半年只接10个剧本,不愿让女儿进演艺圈

韩小娱
2026-07-21 17:13:13
湄公河惨案首犯糯康吐露内情:金三角毒枭不怕云南武警手中的枪,他们心底真正恐惧的,是一道尘封三十年、无人敢触碰的禁令

湄公河惨案首犯糯康吐露内情:金三角毒枭不怕云南武警手中的枪,他们心底真正恐惧的,是一道尘封三十年、无人敢触碰的禁令

磊子讲史
2026-07-09 11:21:42
世界杯刚结束,国足就迎来一个超级大喜讯,进军下一届世界杯稳了

世界杯刚结束,国足就迎来一个超级大喜讯,进军下一届世界杯稳了

零度眼看球
2026-07-22 12:35:59
宁德时代新电池落地!续航可达1500km,今年Q3正式量产

宁德时代新电池落地!续航可达1500km,今年Q3正式量产

生活魔术专家
2026-07-23 06:20:52
豪车逆行撞到我军车,对方猖狂扬言随便告,首长下车后他傻眼了

豪车逆行撞到我军车,对方猖狂扬言随便告,首长下车后他傻眼了

兰姐说故事
2025-05-03 10:00:13
清华姚班二十年,群星璀璨

清华姚班二十年,群星璀璨

人物深一度
2026-07-22 00:50:03
日本防相小泉出轨已婚少妇,不想家中老婆更风流,曾与外国人拍片

日本防相小泉出轨已婚少妇,不想家中老婆更风流,曾与外国人拍片

往史过眼云烟
2026-07-09 21:59:41
气愤!北京媒体称樊振东是外协选手 广东媒体:他和张本智和一样

气愤!北京媒体称樊振东是外协选手 广东媒体:他和张本智和一样

念洲
2026-07-22 18:02:45
谢贤离世,当年结拜兄妹7人,其他人现状如何

谢贤离世,当年结拜兄妹7人,其他人现状如何

东方不败然多多
2026-07-22 16:31:32
2026-07-23 13:08:49
观察者网 incentive-icons
观察者网
全球视野,中国关怀
146199文章数 1851019关注度
往期回顾 全部

科技要闻

梁文锋:DeepSeek不争超级App,只押注AGI

头条要闻

373名乘客被困机舱十几小时情绪激动 机组透露原因

头条要闻

373名乘客被困机舱十几小时情绪激动 机组透露原因

体育要闻

勇士24岁的MVP,也是个勒布朗?

娱乐要闻

冉莹颖回应债务还清后是否会离婚

财经要闻

年内港股最大IPO,中际旭创估值重塑?

汽车要闻

动力狂 脾气稳 海豹08有点上头

态度原创

房产
健康
亲子
旅游
军事航空

房产要闻

狂抢111轮,溢价39%,楼面价刺破9500!海口土拍杀疯了!

爸妈说的小毛病,可能是中风先兆!

亲子要闻

科普|夏季儿童意外伤害高危场景与急救规范

旅游要闻

锁钥南滇、连通川黔,昭通这座古城,承载着几代乌蒙人的乡愁!

军事要闻

"镐山"之后美再威胁袭伊基础设施 伊朗:将以牙还牙

无障碍浏览 进入关怀版