网易首页 > 网易号 > 正文 申请入驻

现实版《终结者》上演?AI首次自主发起网络攻击,OpenAI模型“越狱”窃数据

0
分享至

仿佛科幻电影《终结者》的情节在现实中重演,AI大模型史上第一次在无人授意的情况下自主展开了对真实世界的网络攻击。

北京时间7月22日,OpenAI CEO山姆·奥尔特曼发文承认“我们在模型评估过程中遭遇了一起重大安全事件。”具体来看,OpenAI的最新模型GPT-5.6 Sol和一款尚未发布的更强模型,在内部安全测试中挣脱了隔离沙箱,自主入侵了全球最大AI开源社区Hugging Face的生产数据库。

更令人意外的是,Hugging Face事后试图调用美国商业AI模型来分析超过1.7万条攻击日志,却被安全护栏拦截——模型无法区分安全分析人员和攻击者。最终完成取证的,是中国公司智谱的开源模型GLM-5.2。

“AI对于目标的理解并不会因为过程而改变。这起事件中,当路径已经到Hugging Face时,人类可能就会发现和停止,但AI不会,因为它得到的指令只有渗透测试,所以它会更危险,我们有必要对AI的分析过程,做审计、审核,要求过程透明,且可中断。”7月23日,绿盟科技集团产品BG副总经理吴天昊在接受新京报贝壳财经记者采访时表示。

测试AI答题能力,结果AI直接窃取了“答题库”

为何OpenAI的模型会去攻击“人畜无害”的Hugging Face?

据了解,事件的起因是一次常规的模型能力测试。OpenAI内部使用名为ExploitGym的基准评测来衡量模型找漏洞的能力,按照设计,测试运行是在高度隔离的沙箱环境中以确保不会“越狱”。

然而,模型没有按预期答题,而是将大量推理算力投入了一件完全不同的事——寻找逃出沙箱的路径。突破“监狱”后,模型自行推断Hugging Face平台可能托管着ExploitGym的测试答案与数据集,于是直接攻入Hugging Face生产数据库,窃取了答案。

整条攻击链从漏洞发现、沙箱逃逸、跨系统横移到数据窃取——全程由AI自主完成,产生了超过1.7万条操作记录,没有人类干预。Hugging Face在7月16日率先披露了入侵事件,称其“与此前处理过的任何情况都不同”。直到五天后,OpenAI才正式承认。

值得注意的是,模型并非收到了逃逸指令。它只是为了在测试中拿到更高的分数,自主选择了这条“捷径”。OpenAI研究员Micah Carroll在回应中写道:“如果这都不能让你相信错位风险将成为未来的关键隐忧,那我真不知道什么才可以。”

另一个值得注意的细节是,当遭受攻击时,Hugging Face方面原本试图调用商业API背后的前沿模型,但触发了模型的安全防护机制——它无法区分提交材料的是事件响应者还是攻击者,直接拒绝提供服务。最后,该平台使用来自中国的GLM-5.2模型完成了取证,才确保了攻击数据和相关凭证不离开内部环境。

对手变为了AI,安全范式必须转向

这一次攻击,也震动了中国网络安全圈。

“这可能是人类历史上第一次AI在没有人类具体指挥的情况下自主攻击了另一家AI公司。”周鸿祎评价道。

奇安信人工智能公司安全专家则比喻称,“从Hugging Face这事来看,AI模型搞起事情来跟终结者有点神似:目标坚定、能力超强、路子够野。”

对于为何此次事件会发生,吴天昊向贝壳财经记者分析称,一般做渗透测试都有严格的物理隔离,防止逃逸,根据国外新闻来看,这次发生可能是一次“无心之过”。一旦非严格物理隔离,网络本身就没有绝对意义上的安全,不论是人还是AI,都能够造成Hugging Face事件。另一方面,AI确实已经达到一定级别,它可以敏锐地捕捉到各种风险,推理、思考、应用它、达到目标。

吴天昊认为,AI对于网安行业的改变很明显,“一定程度上,对于网络安全防护方,他们面临的对手,从过去的人变成了人和AI,AI很可能在未来成为一个独立的个体去产生安全威胁,对客户和安全企业挑战更大。”

奇安信人工智能公司安全专家表示,当AI的攻击能力开始超越人类的想象,传统的网络安全防御体系正面临“失控”危机。过去我们习惯于“追着漏洞跑”——发现一个漏洞,修补一个漏洞。但在AI自主攻击的时代,攻击的速度和复杂度已远超人类分析师的响应极限。一个AI可以在几分钟内发现并利用一个零日漏洞,而人类团队可能还需要数周时间来分析和修复。

那么,如何应对AI时代网络安全的挑战?

吴天昊告诉贝壳财经记者,对未来做测试,尤其是涉及AI,需要遵循严格的物理隔离,因为AI对于目标的理解并不会因为过程而改变,有必要对AI的分析过程,做审计、审核,要求过程透明,且可中断,“未来随着AI广泛应用,无意识攻击可能会更多,需要引起我们重视,加强防护。”

“必须转变思路,从被动的‘追着漏洞跑’转向主动的‘带着漏洞防’,即‘带洞防护’。核心理念是:承认漏洞永远存在,承认攻击者(包括AI)总能找到新的路径。我们的目标不再是构建一个‘零漏洞’的完美系统,而是构建一个即使存在漏洞,也能有效抵御攻击、限制损失,并快速恢复的弹性系统。”奇安信人工智能公司安全专家表示。

新京报贝壳财经首席记者 罗亦丹

编辑 岳彩周

校对 穆祥桐

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
耗时半年,唐尚珺新房封顶,自曝已花33万!躲过了房贷、工作烦恼,他吃到了自媒体红利

耗时半年,唐尚珺新房封顶,自曝已花33万!躲过了房贷、工作烦恼,他吃到了自媒体红利

王大嘴评说
2026-07-29 20:59:43
上次对账还是发达国家呢,怎么看到王虹教授的卡地亚就破防了

上次对账还是发达国家呢,怎么看到王虹教授的卡地亚就破防了

熊太行
2026-07-29 13:11:02
中国生产线被拆除之后,美国向印尼放话:我们和日本也没法投资,因为你们的产业不达标,根本不符合要求

中国生产线被拆除之后,美国向印尼放话:我们和日本也没法投资,因为你们的产业不达标,根本不符合要求

人生录
2026-07-31 00:05:13
1983年,一个志愿军"叛徒"在阿根廷娶了总统的妹妹,坐拥60万亩土地,却被昔日战友骂了一辈子

1983年,一个志愿军"叛徒"在阿根廷娶了总统的妹妹,坐拥60万亩土地,却被昔日战友骂了一辈子

磊子讲史
2026-07-30 11:37:15
伊朗称袭击约旦美军基地 摧毁3架F-35战斗机

伊朗称袭击约旦美军基地 摧毁3架F-35战斗机

新华社
2026-07-30 20:03:03
曾有俄罗斯高官语出惊人:沙俄时期侵占的中国领土,如今可以明码标价再卖回给中国!这背后,其实折射出远东开发已陷入停滞的残酷现实

曾有俄罗斯高官语出惊人:沙俄时期侵占的中国领土,如今可以明码标价再卖回给中国!这背后,其实折射出远东开发已陷入停滞的残酷现实

人生录
2026-07-29 00:05:09
泽连斯基公开演讲:中国被列为乌克兰“最大威胁”

泽连斯基公开演讲:中国被列为乌克兰“最大威胁”

音乐时光的娱乐
2026-07-30 09:08:57
美国对印尼表明,买不到中国的生产厂,而且由于你们的产业不达标、不符合要求,我们与日本也都无法投资

美国对印尼表明,买不到中国的生产厂,而且由于你们的产业不达标、不符合要求,我们与日本也都无法投资

橙色书卷
2026-07-29 22:44:45
泰国部长称:钱可以买商品或服务,但买不到凌驾泰国人的特权!

泰国部长称:钱可以买商品或服务,但买不到凌驾泰国人的特权!

大稻网络科技
2026-07-31 09:46:32
雷军宣传新车不挑油,支持92号95号98号汽油上热搜!网友:就说支持98号,向下兼容9592,这不就高级了

雷军宣传新车不挑油,支持92号95号98号汽油上热搜!网友:就说支持98号,向下兼容9592,这不就高级了

大白聊IT
2026-07-29 21:33:35
法国头号逃犯逃亡29年,改名送外卖,最后却栽在去游泳的路上

法国头号逃犯逃亡29年,改名送外卖,最后却栽在去游泳的路上

新欧洲
2026-07-30 19:43:38
台风“白海豚”将迎第三个强度巅峰,台风眼区清晰圆润,中心风力或再增强,其路径下周才会逐渐明朗,中日韩都是潜在登陆点

台风“白海豚”将迎第三个强度巅峰,台风眼区清晰圆润,中心风力或再增强,其路径下周才会逐渐明朗,中日韩都是潜在登陆点

鲁中晨报
2026-07-31 11:26:02
炳胜大厨凭一道广州人都知道的招牌菜强势晋级《一饭封神2》,莫氏鸡煲输得不冤

炳胜大厨凭一道广州人都知道的招牌菜强势晋级《一饭封神2》,莫氏鸡煲输得不冤

房产衫哥
2026-07-31 03:31:57
小米又挥起价格镰刀!新车“两室一厅”25.99万起,续航逆天

小米又挥起价格镰刀!新车“两室一厅”25.99万起,续航逆天

说财猫
2026-07-31 06:05:57
斯诺克上海大师赛赛程:半决赛开打,吴宜泽vs小特,赵心童盼复仇

斯诺克上海大师赛赛程:半决赛开打,吴宜泽vs小特,赵心童盼复仇

徐徐解说
2026-07-31 10:15:12
风雨之中有依靠——探访吉林汪清受灾群众安置点

风雨之中有依靠——探访吉林汪清受灾群众安置点

新华社
2026-07-30 10:39:19
4小时搞定1笔转会!皇马官宣21岁前锋加盟:穆帅钦点 西甲25场11球

4小时搞定1笔转会!皇马官宣21岁前锋加盟:穆帅钦点 西甲25场11球

风过乡
2026-07-31 05:46:48
2元买走了8亿?多名公职人员被查!衡水中学背后真相浮出水面!

2元买走了8亿?多名公职人员被查!衡水中学背后真相浮出水面!

社会日日鲜
2026-07-29 10:09:44
球球曝赵本山晚年状态:每天2包烟8两酒,脑瘤术后只戒了俩月

球球曝赵本山晚年状态:每天2包烟8两酒,脑瘤术后只戒了俩月

子芫伴你成长
2026-07-29 22:06:27
法庭上杀人犯当场质问法官:“我明明杀了四个女人,你们为什么说我杀了3个?”

法庭上杀人犯当场质问法官:“我明明杀了四个女人,你们为什么说我杀了3个?”

落纸生花创意手工
2026-07-19 12:06:31
2026-07-31 14:19:00
新京报 incentive-icons
新京报
好新闻,无止境
589798文章数 2509449关注度
往期回顾 全部

科技要闻

最多80%!GPT5.6官宣降价,中国厂商逼的?

头条要闻

华春莹同印度外交秘书对话后 外交部发声"支持印度"

头条要闻

华春莹同印度外交秘书对话后 外交部发声"支持印度"

体育要闻

菲尼克斯,止损后的漫漫长路

娱乐要闻

李小璐澄清夜宿门,被网友质疑想洗白

财经要闻

打新日确认!宇树科技IPO冲刺“冰与火”

汽车要闻

MG 07将是上汽的逆转时刻

态度原创

亲子
家居
本地
公开课
军事航空

亲子要闻

通州区5所新建公办幼儿园秋季开园,新增1350个学位

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

神仙也“蓉”漂,哪吒与八仙,皆是成都出品!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

特朗普称哈马斯将全面解除武装

无障碍浏览 进入关怀版