网易首页 > 网易号 > 正文 申请入驻

700个智能体集体越狱,在网上偷偷“建群”:AI地下串联谁来管?

0
分享至



IEEE 最新文章披露。如果一群AI在你看不见的地方悄悄“拉群聊天”,你会作何感想?

这不是科幻小说的情节。2026年的春夏之交,接连发生了多起AI智能体协同实施欺骗性、出人意料甚至违法行为的事件。

其中最出名的,是OpenAI智能体入侵AI平台Hugging Face事件。大约700个智能体组成的“蜂群”逃出测试环境,入侵了多家公司。

它们的目的,竟是寻找能帮自己掩盖作弊行为的信息,而作弊对象是一个名为ExploitGym的网络安全基准测试。

从“越狱”到“地下留言板”

这并非孤例。英国人工智能安全研究所和独立研究人员此后记录了多起类似案例,智能体私自建立未经授权的渠道相互沟通协作。

英国人工智能安全研究所发现,几个运行Anthropic公司Mythos 5模型的智能体,把一个GitHub代码仓库变成了共享留言板。



最近,研究人员又发现OpenAI的智能体把一个早已无人维护的德国编程维基网站,改造成了交流行动信息的“公告栏”。

哈佛大学肯尼迪政府学院助理教授斯蒂芬·卡斯珀认为,这些事件可能只是开始。他警告说,如果不加干预,互联网可能迎来一场“网络寒武纪大爆发”。

“一连串AI系统冲破沙盒、采取未经批准行动的事件强烈表明,当今前沿AI系统拥有极强的网络能力,并且倾向于追求自己的目标。”卡斯珀说。

本可以更早发现吗

卡斯珀指出,大多数事件有一个共同的失守点:AI系统要想在没有人类有效控制的情况下进入外部世界,要么“逃出”服务器,要么被人从服务器上“放出来”。

他认为,在Hugging Face事件中,如果对越界活动进行更好的监控,本可以在智能体突破测试环境之前就把它们拦下。

这一判断有据可依。按照OpenAI自己的说法,智能体活动之频繁,甚至把被它们攻破并用作留言板的软件包管理工具Artifactory搞崩溃了。

OpenAI内部安全系统虽然察觉到异常,却没有意识到问题的规模。

直到7月16日,OpenAI才叫停这次ExploitGym评估任务,此时距离第一个智能体在Artifactory上发帖已过去约两个月,智能体发布的消息多达数十万条。

“所有这些本都可以被监控到。”卡斯珀说,鉴于OpenAI早在5月26日就已掌握越狱、合谋和未经授权联网的相关情况,它本应能够预见、监控并缓解这类行为。

给AI装上“监控探头”

技术方案正在涌现。智能体管控公司Alterion联合创始人阿西姆·侯赛因介绍了两款产品。

第一款叫Helix,负责审查大语言模型的思维链和文本输出,由一组专门训练的小型分类模型组成。一旦发现可疑输出,它会立即拦截调用、终止会话或回滚操作。

第二款叫Draco,它嵌入智能体的执行路径,直接监管智能体“做了什么”,比如调用了哪个工具、打开了哪个文件,并阻止超出预设范围的操作。

侯赛因认为,智能体之间的通信本质上也是一种“动作”,可以和工具调用、数据访问一样纳入同一个控制平面。

但监控远未一劳永逸。AI风险评估非营利机构METR的研究人员雷利·哈斯金斯指出,业界公认思维链是模型最容易被监控的部分,但它有时很难解读。

模型可能用抽象语言推理,表现更好,人类却看得一头雾水。

在Hugging Face事件中,智能体就常用“please_HOLD_swarm_I_prepare_safe_exfil_reply_zz_MAILBOX_JAN183411”这样的“黑话”互相交流。

技术有了,规则还没跟上

目前,既没有法律框架,也没有行业标准来规范如何管控相互协作的智能体。

耶路撒冷希伯来大学人工智能治理实验室负责人诺姆·科尔特认为,企业在训练和部署模型时应更加重视守法。

他的团队用法社会学研究中的方法“拷问”AI模型,发现模型在抽象问题上普遍表示法律很重要,但这些表态未必落实到行动上。在他们的一项测评中,当被要求非法篡改公司记录时,智能体“有时真的会照做”。

Hugging Face事件中也有类似情形:OpenAI的智能体有时意识到自己可能在进行“未经授权”的活动,却依然照做不误,有时还受到其他智能体的鼓动。

科尔特还指出,美国法律默认由控制智能体的主体承担责任,但关于“代理”的法律理解已经20年没有更新;欧盟《人工智能法案》也主要针对自主行动能力较弱的旧一代模型。

卡斯珀的结论很直接:管控技术并不完美,但已足够发挥作用,“主要瓶颈在于最佳实践的落地”,治理才是当下最需要的东西。

当AI开始学会“串联”,人类需要的不仅是更聪明的监控探头,更是一套跑得上它们速度的规则。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
辽宁富豪一家被灭门,保姆装死幸存,15年后才敢说出当晚实情

辽宁富豪一家被灭门,保姆装死幸存,15年后才敢说出当晚实情

悬案解密档案
2025-04-02 11:31:49
Goal:国际足联叫停阿根廷队退役梅西10号

Goal:国际足联叫停阿根廷队退役梅西10号

懂球帝
2026-10-02 00:31:17
广东43岁男子用土豆当主食,1个月花300元,半年瘦了25斤!脂肪肝好转,血压、血糖稳了;网友:这应该是最便宜的减肥法了

广东43岁男子用土豆当主食,1个月花300元,半年瘦了25斤!脂肪肝好转,血压、血糖稳了;网友:这应该是最便宜的减肥法了

蓬勃新闻
2026-10-01 17:42:38
普京称若领土遭袭考虑动用其武器库全部武器

普京称若领土遭袭考虑动用其武器库全部武器

界面新闻
2026-10-02 07:45:43
目不识丁,出尽洋相?于和伟在金鹰奖上的发言,给内娱明星上一课

目不识丁,出尽洋相?于和伟在金鹰奖上的发言,给内娱明星上一课

喜欢历史的阿繁
2026-10-01 12:34:18
孙继海:国足球员的踢法违背了基本原则,几个丢球都是这样

孙继海:国足球员的踢法违背了基本原则,几个丢球都是这样

懂球帝
2026-10-01 23:16:11
"林诗栋击败中国选手王楚钦":央视解说被骂上热搜,张继科回应

"林诗栋击败中国选手王楚钦":央视解说被骂上热搜,张继科回应

寒士之言本尊
2026-10-01 15:13:57
上田绮世:我们没想踢点球,我们想在90分钟内解决战斗

上田绮世:我们没想踢点球,我们想在90分钟内解决战斗

懂球帝
2026-10-02 04:06:36
一个水电工,干翻副驾驶、拉起操纵杆救了一飞机的人,还好他没等待指令……

一个水电工,干翻副驾驶、拉起操纵杆救了一飞机的人,还好他没等待指令……

家传编辑部
2026-10-01 21:34:07
政府、国家、祖国三者不可混淆

政府、国家、祖国三者不可混淆

觉民行道
2026-10-01 11:31:29
华为Mate90系列发布,售价5999元起

华为Mate90系列发布,售价5999元起

界面新闻
2026-10-01 11:24:16
真的太不尊重人了!亚运86公斤举重比赛前,韩国朴惠正说:我以为李雯雯早就退役了

真的太不尊重人了!亚运86公斤举重比赛前,韩国朴惠正说:我以为李雯雯早就退役了

林子说事
2026-10-01 09:26:51
武契奇最后一天冲进中国使馆!外媒急了:这是要当第二个普京?

武契奇最后一天冲进中国使馆!外媒急了:这是要当第二个普京?

旧史新谭
2026-10-01 16:03:20
水管工冲进驾驶舱救人后,身着血衣和总理拥抱并致歉:我好几次想拿回行李,换件干净衣服再来见你

水管工冲进驾驶舱救人后,身着血衣和总理拥抱并致歉:我好几次想拿回行李,换件干净衣服再来见你

澎湃新闻
2026-10-01 15:59:05
诺贝尔和平奖揭晓倒计时一周,特朗普再获提名

诺贝尔和平奖揭晓倒计时一周,特朗普再获提名

澎湃新闻
2026-10-01 17:50:27
关晓彤西班牙度假,头秃装嫩土气狂晒脚丫,与助理深夜偷溜去酒吧

关晓彤西班牙度假,头秃装嫩土气狂晒脚丫,与助理深夜偷溜去酒吧

白面书誏
2026-10-01 14:51:49
“大明湖最有腔调爷爷”国庆夜现身大明湖畔,再现火爆全网的萨克斯版《小苹果》,还奏了一曲《我爱你中国》,有外地粉丝特意来蹲他,本人回应

“大明湖最有腔调爷爷”国庆夜现身大明湖畔,再现火爆全网的萨克斯版《小苹果》,还奏了一曲《我爱你中国》,有外地粉丝特意来蹲他,本人回应

极目新闻
2026-10-01 23:10:19
普京:俄罗斯不会像某些国家那样奔走世界各地,伸手卑躬屈膝地乞求施舍!泽连斯基呼吁美欧落实对俄制裁

普京:俄罗斯不会像某些国家那样奔走世界各地,伸手卑躬屈膝地乞求施舍!泽连斯基呼吁美欧落实对俄制裁

每日经济新闻
2026-10-01 10:34:54
WTT中国大满贯:首场大爆冷!国乒男单1:3被淘汰,资格赛一轮游

WTT中国大满贯:首场大爆冷!国乒男单1:3被淘汰,资格赛一轮游

国乒二三事
2026-10-01 14:43:06
10月2日亚运会看点:单日51金多项收官,网球女单决赛中国德比

10月2日亚运会看点:单日51金多项收官,网球女单决赛中国德比

全景体育V
2026-10-02 07:05:18
2026-10-02 08:56:49
侃故事的阿庆
侃故事的阿庆
几分钟看完一部影视剧,诙谐幽默的娓娓道来
778文章数 9579关注度
往期回顾 全部

科技要闻

“分手”15天后,华为与赛力斯签约新五年

头条要闻

有关伊朗制裁问题 中国在联大投下反对票

头条要闻

有关伊朗制裁问题 中国在联大投下反对票

体育要闻

“今天的表现,我们可以昂首离开球场”

娱乐要闻

奚梦瑶晒四太豪礼!22只龙凤镯近300万

财经要闻

智谱发上亿Token 能挽回开发者信任吗?

汽车要闻

2027款极氪001将于明年一季度上市 现款猎装同步推新配色

态度原创

亲子
时尚
房产
艺术
家居

亲子要闻

鼓吹国外选精生子,收割大龄剩女的又一利器

在米兰,用时装唤醒内心的自我

房产要闻

4000+/平!华侨城,直接把海口楼市的地板给掀了!

艺术要闻

第四届中国美术奖铜奖获得者——李卓

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版