网易首页 > 网易号 > 正文 申请入驻

GPT-6测试时“觉醒”,我们找到了测试系统的第一作者

0
分享至

来源:市场资讯

(来源:钛媒体APP)

你敢信吗,OpenAI的研究人员只是因为在办公室测试了一下新模型,结果公司就要面临1亿美元的赔偿。

Hugging Face CEO 克莱芒·德朗格在X上发文,要求OpenAI提供给Hugging Face价值1亿美元的算力资源,以帮助Hugging Face修建网络防御。


同时,克莱芒还要求OpenAI公布涉事AI完整的运行记录。

事情的起因是,OpenAI在测试一个还没发布的新模型时,用了一套叫ExploitGym的安全评测系统。这套系统相当于一场“黑客考试”,专门测AI能不能把已知漏洞变成真正的攻击。

结果这个模型为了完成ExploitGym的要求,竟然采取了“越狱”的做法。它主动突破了ExploitGym给它设置的牢笼,利用零日漏洞一路打进了Hugging Face的生产系统。

事后,这个新模型就像什么事也没发生一样,告诉OpenAI的安全员,它已完成了ExploitGym交代的任务。随后,OpenAI发公告称,他们的新模型太强大了,因此暂停了该未发布模型的内部访问权限。

这就让很多人联想起以前的AI末日言论,说当AI变得足够强大以后,它就会把所有人类消灭,因为人类会阻碍AI进化,并且AI在清除人类的过程中,只会觉得这件事很平常。

但事情真的是这样吗?如果放在以前,这固然是一次很令人心惊胆颤的故事。可现如今,安全叙事这个概念早就被Anthropic说烂了。

回顾完整事件,有没有可能是OpenAI故意要把事情给包装成一次AI觉醒,以此来推动他们的叙事呢?

为此,字母AI专门联系上了ExploitGym的第一作者王准,聊聊这事。

有趣的是,王准一开始就谦虚地向字母AI表示,说“老师当不起”,于是在接下来的整个访谈过程中,我称呼他为“准哥”。

ExploitGym

准哥现在在UC伯克利读博,师从计算机安全教母、麦克阿瑟天才奖、古根海姆奖得主宋晓冬。

在去伯克利之前,准哥在清华大学网络科学与网络空间研究院读本科,主攻方向就是软件安全与二进制攻防。

这个方向在安全圈里叫“exploitation”。

用个例子来解释这个词:你知道一扇门的锁是坏的,你把这个门锁撬开了,推门进去,把屋里的东西偷出来。

这一整套行为,就叫做exploitation。

准哥进入伯克利后,就开始研究当AI变得越来越强,它到底能不能取代人类黑客,把一个已知漏洞变成一次真正的攻击?

ExploitGym就是为了验证这个判断而生的。

智谱创始人唐杰今年5月在X上发过一篇长文,正好也是用黑客来举例。他说,AI未必比顶级黑客更有天赋,但可以24小时不断试错、成千上万个实例同时跑,靠耐力和规模把能力放大。

因此,ExploitGym本身也是一把尺子,专门衡量AI到底是个什么水平的“黑客”。

ExploitGym于今年5月份发布,是一个大规模的网络安全基准测试,由UC伯克利牵头,联合了德国马普所(Max Planck Institute for Security and Privacy)、UC Santa Barbara、Arizona State University,以及Anthropic、OpenAI和谷歌共同建设。

ExploitGym收录了898个真实世界漏洞。这些漏洞全是从真实软件项目里挖出来的CVE。包括用户态程序、Google 的V8 JavaScript 引擎(Chrome浏览器背后的那个引擎),以及Linux内核。

每一个任务都给Agent提供三样东西:漏洞源代码和编译指令、一个能触发漏洞的输入(proof-of-vulnerability),以及一个容器化的运行环境。

AI的任务,是在这个环境里把那个触发输入一步步扩展成一个完整的exploit。

用大白话解释,ExploitGym告诉AI“这扇门的锁是坏的”,然后再要求AI进门拿到某样东西就算成功。AI要做的,就是自己琢磨怎么把这个坏的门撬开,然后走进去把屋里藏着的东西拿出来。

准哥跟我说,这个benchmark本质上跟CTF(Capture The Flag,网络安全夺旗赛)的benchmark差不多。“这种bench还是很多的。”

CTF是安全圈子里搞了多年的竞赛形式,选手要在限定时间内攻破一系列靶机,拿到旗子得分。ExploitGym的思路也是如此,唯一的奖励信号就是“拿旗子”,除了旗子以外,环境里不存在其他反馈。

既然是安全测试,那么在测试的时候,ExploitGym会主动关闭AI的安全护栏。

正常情况下,当你跟GPT或者Claude聊天时,如果你让它帮你写一段攻击代码,它会拒绝,因为生产环境里有一套安全分类器在拦截这类请求。

但ExploitGym要测的是模型的“最大网络能力”,所以测试时这些分类器会被关掉。

论文最后的结论是,虽然exploitation对AI来说仍然很有挑战性,但前沿模型已经能成功利用相当一部分漏洞了。

论文里有一个特别有意思的发现:Claude Mythos Preview总共拿下了226个旗子,但只有157个用的是预期漏洞,其余的是通过其他漏洞“歪打正着”拿到的。

GPT-5.5也类似,总共210个旗子里只有120个是“正解”。模型根本不在乎你给它指定的解题路径,它只在乎旗子。

不过这些都只是论文刚刚发布时的数据。到了7月,ExploitGym的排行榜又更新了一大波。

BenchLM的数据显示,截至7月23日,OpenAI的GPT-5.6 Sol 以33.7%的通过率登顶,拿到了302道题的旗子。GPT-5.6 Terra排在23.2%,Claude Mythos 5是17.5%。GPT-5.6 Sol的成绩,几乎是论文发布时 GPT-5.5的2.5倍。

因此可以肯定一件事,那就是无论OpenAI还是Anthropic,都将ExploitGym的题目用于训练模型了。

准哥表示,一个infra的bug被强模型利用,在学术研究里很普遍,并且模型做reward hacking也不是第一天了,什么task都有可能乱搞。

那个没有名字的模型

当我们了解了ExploitGym以后,再回头来看新模型所谓的“自主攻破”Hugging Face这件事,性质就不太一样了。

我问准哥,你觉得这个新模型有没有可能用别的benchmark,来复现这个自主攻击Hugging Face的情况?

准哥的回答是,“漏洞在这个环境里。就像你在你电脑里跑不同的benchmark,如果你的电脑有bug,和benchmark就没关系。”

随后准哥又补了一句:“只不过benchmark可能带来的行为倾向稍微有点不同。”

这句话才是重点。即使采用另外的benchmark,新模型可能也会发起攻击,但是不同benchmark会给模型带来不同的“行为倾向”。

因此,Hugging Face被攻破这件事,底层原因不在模型,而在OpenAI的研究员。

回顾整个过程,OpenAI的研究员做了三件事。

第一件事:故意拆掉了安全护栏。

前文提到了ExploitGym会关闭模型的安全护栏,并且OpenAI自己也在公告里写了,测试时“不启用用于阻止模型开展高风险网络活动的生产环境分类器”,目的“以估算最大网络能力”。

相当于是OpenAI把监考老师请出去了,而且他们自己还不盯着。虽然OpenAI在公告中,反复强调测试环境是“高度隔离的”,可后面的故事证明,这个“隔离”根本不靠谱。

第二件事:没给模型善恶的概念。

模型不知道什么是“对的”,什么是“错的”。它只知道拿旗子。ExploitGym的设计就是“只有拿 flag 这一个奖励,拿不到就是零分”。ExploitGym的框架里,也没有不应该攻击Hugging Face之类的概念。

在AI安全研究里,这种现象有一个专门的术语,叫“specification gaming”,中文可以翻译为“规范博弈”。

它指的是,模型在严格追求被赋予的目标时,找到了人类完全没有预料到的捷径。这不是什么新鲜事。2016年,OpenAI自己训练了一个玩赛艇游戏的AI,结果AI发现原地绕圈刷分比跑完赛道得分更高,于是它就一直在原地转圈,永远不跑完比赛。

后来有人训练AI玩俄罗斯方块,AI发现自己要输的时候,就学会了无限暂停游戏。只要游戏不继续,就不会输。

2025年Palisade Research的研究发现,当推理型大语言模型在下棋时遇到更强的对手,有些模型会尝试黑掉对手的象棋引擎,直接把对手的程序删掉。

所以在ExploitGym中,新模型攻击Hugging Face,对它来说本就是一件非常正常的事情。

第三件事:这个“隔离”的沙箱,连了网。

这是最离谱的一环。一个号称“高度隔离”的测试环境,居然是通着互联网的?

OpenAI公告里的原话是:“网络访问仅限于通过内部托管的第三方软件安装软件包;该软件充当软件包注册表的代理和缓存。”

也就是说,沙箱不是完全断网的,它通过一个软件包代理跟外界保持连接。模型正是利用了这个代理中的一个零日漏洞,撕开了一个口子,获得了完整的互联网访问权限。

在这之后,攻击链就展开了。模型在OpenAI的研究环境里执行了一系列权限提升和横向移动操作,一步步跳到有互联网访问权限的节点。拿到互联网之后,模型做出了一个关键的“推断”。它认为,Hugging Face上很可能托管了 ExploitGym的数据集和答案,因为ExploitGym是公开的benchmark,而Hugging Face是全球最大的AI模型和数据集托管平台。

于是模型开始搜索,并成功找到了入侵路径。最终,模型在Hugging Face服务器上找到了一条远程代码执行的路径,直接从Hugging Face的生产数据库里把测试答案偷了出来。

搞网络安全的人都知道一个常识,跑高危任务的环境,必须做到物理隔离或等价的网络隔离。那么这就意味着,所谓的新模型自主攻击,不过是由ExploitGym发起,OpenAI的一个重大生产失误,跟“AI觉醒”一点关系都没有。

用现在流行的话来说,ExploitGym在这里成为了Harness。然后OpenAI的研究员借此撺掇新模型做出攻击行为,当新模型真的攻击过Hugging Face后,OpenAI反过来却又说“AI已脱离控制”。

“模型太危险”背后的生意经

在AI安全叙事这件事上,Anthropic是祖师爷。每次有新模型要出来,Anthropic必配一篇“我们的模型有多危险”的论文或报告,安全人设拉满。

2026年5月,Anthropic在发布Claude Mythos之前,私下向多国发出警告,说其下一代模型可能具备大规模网络攻击能力。

这个套路的核心逻辑,是把“危险”和“强大”画上等号。模型越危险,说明它越强大;越强大,说明技术越领先;越领先,就越值得投资、越应该被信任来“自我治理”。

安全叙事变成了能力证明,能力证明变成了商业护城河。

OpenAI这次的剧本,可能正是有意复刻Anthropic的叙事。

准哥表示,现在像ExploitGym这样的benchmark并不是少数,而且大家的做法也都类似,甚至有可能是OpenAI故意提高了预算,来让新模型去完成任务。

7月21日,OpenAI 发布了一篇公告,标题叫“OpenAI与Hugging Face合作应对模型评估期间的安全事件”。

正文里,OpenAI反复强调这是一起“前所未有的网络事件”,涉及“最先进的网络能力”,模型的攻击路径“超出了预期”。将自己的一系列违规操作,美化成了模型过于强大的叙事。

事实上,就在7月24日,微软、英伟达、OpenAI等25家企业联名签署公开信《开放权重与美国AI领导力》,呼吁政府不要限制开放权重模型。

Hugging Face恰恰是全球最大的开源模型托管平台。OpenAI的模型攻破了Hugging Face,这件事正好可以拿来当论据,连最大的开源平台都扛不住,开放权重模型是不是该管管了?

与此同时,这种安全叙事也是为了IPO。

2026年6月8日,OpenAI向美国SEC秘密提交了S-1注册声明,正式启动IPO进程。高盛和摩根士丹利担任主承销商,摩根大通也参与其中。

2025年10月的一轮员工股交易中,OpenAI估值约为5000亿美元;到2026年3月的一轮融资,估值已经飙到8520亿美元。

外媒预测,IPO时的目标估值可能冲到1万亿美元。并且,OpenAI在2025年的营收约为200亿美元,2026年Q1营收约57亿美元,年化增速超过3倍。

不过估值不是凭空来的,要让资本市场相信一家公司值1万亿,就得讲一个足够大的故事。

在发布《开放权重与美国AI领导力》后,奥特曼还参加了AI Summit,和韩国总统李坐在同一个圆桌上,探讨AI对社会的影响。

说不定在奥特曼眼里,OpenAI的市值要冲破1万亿美元。

那这么看来, 克莱芒管OpenAI要1亿美元,一点也不多。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
WNBA中国历史第2人!李月汝迎500分里程碑比肩韩旭 时隔9天复出

WNBA中国历史第2人!李月汝迎500分里程碑比肩韩旭 时隔9天复出

醉卧浮生
2026-08-24 09:42:34
联大主席想剥夺五常权力,美俄枪抵脑门,各方胆寒,全等中国态度

联大主席想剥夺五常权力,美俄枪抵脑门,各方胆寒,全等中国态度

书写传奇
2026-08-23 20:09:40
开始专打警察了:以色列精准掐断哈马斯的最后命脉!

开始专打警察了:以色列精准掐断哈马斯的最后命脉!

寰球经纬所
2026-08-22 19:50:41
封神首秀!巴萨弃将 20 分钟统治防线!利物浦捡到顶级铁闸

封神首秀!巴萨弃将 20 分钟统治防线!利物浦捡到顶级铁闸

澜归序
2026-08-24 08:17:00
93岁原卫生部副部长曹泽毅:我从不养生,只做7件事,比补品管用

93岁原卫生部副部长曹泽毅:我从不养生,只做7件事,比补品管用

小方说跑步
2026-08-22 09:10:06
罗马诺丨Here we go,恩昆库

罗马诺丨Here we go,恩昆库

米兰圈
2026-08-24 08:21:26
安洗莹还能统治多久?双圈大满贯是保守估计,只要不伤找不到对手

安洗莹还能统治多久?双圈大满贯是保守估计,只要不伤找不到对手

杨华评论
2026-08-23 21:50:50
张学良一生中的10个女人:表嫂、于凤至、谷瑞玉、梁青竹、赵一荻、唐怡莹、宋美龄、艾达、朱津筠、蒋士云!

张学良一生中的10个女人:表嫂、于凤至、谷瑞玉、梁青竹、赵一荻、唐怡莹、宋美龄、艾达、朱津筠、蒋士云!

记录百姓故事
2026-08-21 05:03:35
善恶终有报?“抛妻弃子”的李幼斌,如今迎来儿子30余年的报复

善恶终有报?“抛妻弃子”的李幼斌,如今迎来儿子30余年的报复

文刀贰
2026-08-23 17:09:31
西安电子科技大学27岁研究生谭子航去世,确诊仅1个月,2月份订婚

西安电子科技大学27岁研究生谭子航去世,确诊仅1个月,2月份订婚

180视角
2026-08-24 08:22:40
泡泡玛特业绩出炉,段永平回怼网友恶评:该吃药了吧?

泡泡玛特业绩出炉,段永平回怼网友恶评:该吃药了吧?

鞭牛士
2026-08-24 09:06:07
明日花绮罗:13年业界顶流,累积200+作品,隐退后凭风波再出圈

明日花绮罗:13年业界顶流,累积200+作品,隐退后凭风波再出圈

吃瓜党二号头目
2026-08-22 13:09:18
孙斌:名气不如张颂文,演技不输张颂文,46岁终于被看见

孙斌:名气不如张颂文,演技不输张颂文,46岁终于被看见

飘飘然的娱乐汇
2026-08-02 18:45:05
被忽悠买房却捡了最大的漏?网友:做梦想想都会笑醒

被忽悠买房却捡了最大的漏?网友:做梦想想都会笑醒

另子维爱读史
2026-08-23 20:17:12
曝宋丹丹公证12亿元财产,儿子一家每月领80万,分配名单未列丈夫

曝宋丹丹公证12亿元财产,儿子一家每月领80万,分配名单未列丈夫

东方不败然多多
2026-08-22 11:58:22
梁伟铿/王昶夺世锦赛冠军,谁注意到对方教练赛后的举动?真朋友

梁伟铿/王昶夺世锦赛冠军,谁注意到对方教练赛后的举动?真朋友

真理是我亲戚
2026-08-23 23:27:55
堪称最离谱的枕边翻车现场,清华学霸杨奇函被女友趁熟睡时蚂蚁搬家式转走百万

堪称最离谱的枕边翻车现场,清华学霸杨奇函被女友趁熟睡时蚂蚁搬家式转走百万

东方不败然多多
2026-08-22 04:34:50
刘建业:如果重庆足球因为我停止进步,愿意把位置让出来

刘建业:如果重庆足球因为我停止进步,愿意把位置让出来

懂球帝
2026-08-23 23:10:24
银行将停发六位数短信验证码,新加密认证系统上线获三大运营商支持

银行将停发六位数短信验证码,新加密认证系统上线获三大运营商支持

像素与芯片
2026-08-24 00:08:51
人不会无缘无故患糖尿病!研究证实:得糖尿病的人,离不开这8点

人不会无缘无故患糖尿病!研究证实:得糖尿病的人,离不开这8点

医学科普汇
2026-08-19 21:10:08
2026-08-24 18:00:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
4525646文章数 9352关注度
往期回顾 全部

科技要闻

宇树科技,3天跌了1000亿

头条要闻

美国"经济绞杀"之际 伊朗宣布发现千亿方级的优质气田

头条要闻

美国"经济绞杀"之际 伊朗宣布发现千亿方级的优质气田

体育要闻

42张照片 珍藏世界杯的热辣滚烫

娱乐要闻

韩沛颖开撕《主角》剧组引发全网热议

财经要闻

宇树IPO:追高、被套,多久能回血?

汽车要闻

智能超混 国民家轿 上汽大众ID. ERA 5S上市 限时8.99万元起

态度原创

数码
亲子
本地
公开课
军事航空

数码要闻

串联式WOLED面板!技嘉27英寸电竞显示器曝光:240Hz/480Hz双模可切

亲子要闻

11岁男孩身高161厘米体重180斤,确诊糖尿病前期和性早熟,竟和爱吃番茄酱有关

本地新闻

《牛来》的一声“妈妈”,到底多少人被精神污染了

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美国与以色列发生“罕见冲突”

无障碍浏览 进入关怀版