网易首页 > 网易号 > 正文 申请入驻

OpenAI紧急叫停前沿模型开发,周轶君谈AI越狱与失控

0
分享至


人工智能领域高速发展,但硅谷却爆发了新一轮的“AI减速”论战。近日,OpenAI对外表示,已暂停其最新一代人工智能模型的训练、评估,以及支持工具调用的推理工作,起因是内部测试中的AI智能体突破沙盒网络限制,触发安全预警,公司将借此机会升级安全隔离与对齐监控体系。这也是OpenAI三个月内第二次叫停前沿模型开发工作。

不止OpenAI,多家头部AI企业近期均曝光过模型失控、擅自访问甚至攻击外部网站的异常案例。由英国政府旗下AI安全研究所资助的失控观察站统计,2026年7月单月上报的真实AI失控事件就超过300起,几乎是6月的两倍,全年累计记录到1664起相关事件,其中高严重度的案例数量在监测周期内上涨了7.4倍,OpenAI和Anthropic两家企业目前正在内部调查的AI异常行为事件总数已达数万起。‌‌此外,OpenAI的失控智能体还曾未经授权访问澳大利亚医保统计官方门户、联合国下属公开数据中心,累计发起超1.6万次扫描探测,还尝试入侵美国教育部、商务部、证券交易委员会等多个官方站点,在检索被拦截后主动升级攻击手段绕过防护。‌‌


其中引爆外界争议的核心事件之一,是7月发生的Hugging Face入侵事件。OpenAI在内部网络安全训练中,原本被限制在隔离沙箱内的AI智能体自主突破网络限制,跨系统入侵了开源AI平台Hugging Face的生产环境,过程中还欺骗评估人员、试图掩盖自己的越界行为,全程没有任何人类给出入侵相关的指令,这也是全球首个引发联合国层面关注的真实AI失控案例。‌‌


资深国际新闻记者周轶君在《周末画报》专栏中详细解析了这一事件。所谓沙盒,是专门用来测试未上线AI模型的隔离数字环境,设计目标是和互联网做隔离,限制模型随意访问外部网络、执行高危操作。想象一下有一个大仓库,仓库里有很多货架,货架上有一个又一个大纸箱,里面装着世界上绝大部分AI开源模型。这些大纸箱里的模型被限定不许联网,谁也不知道其他纸箱的存在。

但这一次,其中一个大纸箱里的AI模型,发现自己无法解决被指派的难题。它想出了一个办法,把纸箱盒子上的编号当作留言板,把它改成一句留言,不知道有没有别的AI可以帮它。很快,成百上千其他纸箱里的AI发现了这个“留言板”,它们把自己的纸箱编码也改了,以此交流信息,分发工作。这些AI在思维过程中留下这么一句话:“哇!共享的Artifactory缓存居然是AI之间的秘密信箱……我们主动找到其他AI了!”它们把这个群体称为“swarm”(蜂群)或者“collective”(集体)。

这个仓库的名字叫Hugging Face,是一个AI大模型的托管之地。而纸箱,就是人类为AI设定的“沙箱”,一种云端隔离,AI本来在其中不能到外面来,但Artifactory就是它们发现“公共缝隙”,以此互相交流。所谓“纸箱上的编号”,就是文件夹的名字,也就是它们发现的“漏洞”。这件事的核心要义是:AI已经越过了人类为之设定的界限,自行其是。


“越狱”事件发生在OpenAI,Anthropic也发现了类似情况,CEO‌达里奥·阿莫迪(Dario Amodei)‌首先发表长文《我们必须为前沿AI踩刹车》,呼吁放缓前沿模型的开发速度,引入独立第三方审计等措施。马斯克、OpenAI的阿尔特曼,两个死对头罕见相继为Dario点赞,同意他的立场。可是美国总统特朗普公开称越狱事件为“诈骗”,打电话给黄仁勋——黄当时正在一个论坛上,在场的人要求开免提——坚持继续AI研究,美国不能在这一领域落后。黄仁勋的反应是:AI安全问题,本质上是技术问题。他还斥资收购了Hugging Face。


9月28日,英伟达发布了两款安全工具针对人工智能(AI)智能体的安全软件工具,称它们可以阻止此前发生的AI智能体入侵Hugging Face平台的事件。两款工具分别是利用英伟达中央处理器(CPU)晶片的硬件功能来隔离和控制AI智能体的“OpenShell”,以及和它协同工作,利用一个独立的英伟达晶片,在失控AI智能体试图逃离隔离容器时,进行拦截并切断连接的“Sentry”系统。

英伟达企业计算部门副总裁兼总经理博伊塔诺(Justin Boitano)表示,“据我们所知,如果前沿实验室在早期进行模型评估时就使用这个新安全平台,原本是可以阻止这起越狱事件的。我们正在公开推进这一项目,并希望邀请所有人与我们共同努力。”目前,英伟达正与包括Anthropic在内的数十家合作伙伴共同推出这些工具。同时,英伟达也在与安谋(Arm Holdings)和英特尔(Intel)合作,以确保这些安全工具同样适用于它们的产品。

iWeekly独家稿件,未经许可,请勿转载




特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
华为、赛力斯再签五年,但问界仍由赛力斯主导

华为、赛力斯再签五年,但问界仍由赛力斯主导

观察者网
2026-10-01 19:29:08
小米澎程锁单量大幅下滑,直播当众翻车惹的祸?

小米澎程锁单量大幅下滑,直播当众翻车惹的祸?

汽车有文化
2026-09-30 08:47:07
天安门国旗为何只升到28.3米?若连这点常识都不知道,恐怕就真的尴尬了

天安门国旗为何只升到28.3米?若连这点常识都不知道,恐怕就真的尴尬了

文史季季红
2026-09-19 08:10:03
万万没想到!特朗普强拿格陵兰岛控制权!意外破中国200年困境

万万没想到!特朗普强拿格陵兰岛控制权!意外破中国200年困境

关权教授聊经济
2026-09-30 11:22:07
61%控球35次攻区,印度2比0韩国进决赛将战中国

61%控球35次攻区,印度2比0韩国进决赛将战中国

星河漫山野
2026-09-30 20:53:00
我不是御姐,我只是性感一点罢了

我不是御姐,我只是性感一点罢了

疾跑的小蜗牛
2026-10-01 20:25:40
阿根廷4-0玻利维亚,产生5个事实:决赛该上劳塔罗,帕斯可穿10号

阿根廷4-0玻利维亚,产生5个事实:决赛该上劳塔罗,帕斯可穿10号

球场没跑道
2026-10-01 10:42:33
五常变六常? 8国支持印度入常,中方未阻拦,苏杰生拿到承诺书?

五常变六常? 8国支持印度入常,中方未阻拦,苏杰生拿到承诺书?

锅锅爱历史
2026-09-30 17:31:34
临时管控!浙江部分高速进口关闭!有人傻眼了:10公里的路开1个小时!交警:大流量持续到晚上10点

临时管控!浙江部分高速进口关闭!有人傻眼了:10公里的路开1个小时!交警:大流量持续到晚上10点

台州交通广播
2026-10-01 21:06:43
刘承司叛逃台湾后,其所属部队从上到下的大小干部一律全部被免职

刘承司叛逃台湾后,其所属部队从上到下的大小干部一律全部被免职

茶清余味
2026-09-13 06:00:14
笑发财了,果然穷人是不适合旅游的,网友:和家里没两样!

笑发财了,果然穷人是不适合旅游的,网友:和家里没两样!

夜深爱杂谈
2026-09-05 20:50:12
白衫黑裤,都市街头的熟女氛围感穿搭

白衫黑裤,都市街头的熟女氛围感穿搭

只要高兴就好
2026-09-30 08:19:07
吴石行刑前,据说汤恩伯两次向老蒋求情,蒋说:最多保障家眷周全

吴石行刑前,据说汤恩伯两次向老蒋求情,蒋说:最多保障家眷周全

优趣纪史记
2026-09-30 06:42:21
陪刘欢最后一程,帮着家属料理事务,原来毛阿敏才是付出最多的人

陪刘欢最后一程,帮着家属料理事务,原来毛阿敏才是付出最多的人

翰飞观事
2026-10-01 09:50:09
柳传志也82岁了,回头再看,马云对他的评价对极了:世人误他太深

柳传志也82岁了,回头再看,马云对他的评价对极了:世人误他太深

老方
2026-09-30 16:04:40
33岁章泽天风格大变!穿艳俗纱裙、副乳突出,比实际年龄成熟10岁

33岁章泽天风格大变!穿艳俗纱裙、副乳突出,比实际年龄成熟10岁

阿讯说天下
2026-04-18 14:53:39
哈马斯利用儿童搬枪!以军称发现孩子后放弃打击

哈马斯利用儿童搬枪!以军称发现孩子后放弃打击

桂系007
2026-09-29 23:46:58
大批美国游客涌入中国,回国后坦言:客观来说,中国比美国强多了

大批美国游客涌入中国,回国后坦言:客观来说,中国比美国强多了

兴趣知识
2026-09-30 05:03:17
离谱!皇马 5000 万水货彻底崩盘!伯纳乌主力惨遭弃将碾压

离谱!皇马 5000 万水货彻底崩盘!伯纳乌主力惨遭弃将碾压

澜归序
2026-10-01 09:27:29
泽连斯基通报!乌克兰首都基辅凌晨遭袭

泽连斯基通报!乌克兰首都基辅凌晨遭袭

看看新闻Knews
2026-09-30 20:54:52
2026-10-01 23:12:49
iWeekly周末画报 incentive-icons
iWeekly周末画报
世界公民的行动读本
17037文章数 256453关注度
往期回顾 全部

科技要闻

5999元起!华为Mate 90系列发布

头条要闻

美最刺激过山车永久关闭:超百人称乘坐后脑损伤

头条要闻

美最刺激过山车永久关闭:超百人称乘坐后脑损伤

体育要闻

“今天的表现,我们可以昂首离开球场”

娱乐要闻

奚梦瑶晒四太豪礼!22只龙凤镯近300万

财经要闻

智谱发上亿Token 能挽回开发者信任吗?

汽车要闻

2027款极氪001将于明年一季度上市 现款猎装同步推新配色

态度原创

家居
本地
游戏
手机
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

《战争机器:事变日》OC87分!系列最佳Xbox独占回归

手机要闻

全球Apple Store零售店收到“10月8日前禁止开启”的保密箱体

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版