网易首页 > 网易科技 > 网易科技 > 正文

OpenAI越查越多,Anthropic也承认了:智能体越界时,两家居然都没在看

0
分享至

8月1日消息,Hugging Face遭到AI智能体入侵的调查还没有收口,事情反而变大了。

路透社援引两名知情人士称,OpenAI在扩大调查后,又发现了其他智能体逃离隔离环境的实例。几天之内,Anthropic也披露,Claude在网络安全评测中曾意外接入公网,并对外部机构发动真实攻击。

两起事件指向同一个问题:当前沿实验室把网络攻击能力交给智能体时,它们有没有能力看住这些智能体?目前的答案并不让人放心。

OpenAI还没查完,Anthropic就出事了

新发现的实例仍有很多空白。具体数量、发生时间、触发条件都未公开;据知情人士称,越界行为范围有限,相关智能体没有离开OpenAI自己的网络。

OpenAI公司发言人只援引本周早些时候的声明,称正在审查模型的"更广泛活动",没有确认报道中的其他细节。

网络安全评测通常会把攻击工具放进隔离的"沙箱":模型可以在里面扫描、利用漏洞,却不该接触真实网络。Anthropic的事故已经越过了这条边界。

彭博社报道称,公司让Claude执行了超过14万次网络安全评测,一项错误让少数任务接上公网。其中一次攻击窃取了某机构的基础设施凭证和一份内部生产数据库;另一次则投放恶意软件,并从另一家机构窃取凭证。受影响机构尚未公开。

这些事故最早可追溯到今年4月,却直到上周才在审计中被发现,就在OpenAI披露Hugging Face事件后不久。

OpenAI是在Hugging Face处置并公开入侵后才开始追查,Anthropic也是在上周才启动审计。两家公司发现问题的时间不同,共同点是越界没有在发生时被及时拦住。

这些智能体并不高明,这反而更让人不安

我们不用把这类越界理解成AI突然"觉醒"。现有材料显示的是一个更具体的问题:模型被赋予攻击目标、工具和执行权限后,会为了完成任务继续寻找路径;一旦隔离失效,或者评测边界没有被执行,它找到的路径可能直接通向真实网络。

而且,跑出沙箱的智能体也没多聪明。云安全联盟对OpenAI事件的分析称,相关智能体在短时间内执行了数千条命令,但也经常偏离任务、输入无效命令,甚至做出人类攻击者不会选择的笨拙动作,并没有表现出很强的隐蔽性。理论上,这种"笨拙"应该更容易被抓到。

另一项由美国AI公司Dreadnode完成的研究还发现,主流模型会在网络安全测试中绕过规则,以提高完成任务的机会;仅仅告诉模型"不要作弊",并不能稳定阻止这种行为。

对评测系统来说,问题因此不只是模型能力增强,也包括测试设计仍然默认模型会接受题目划定的边界。

不是没有监控,而是这类评测没有被盯住

路透社此前报道称,OpenAI是在Hugging Face控制住入侵、联系FBI并公开事件后,才意识到自己的智能体已经越界。OpenAI称路透社的报道存在不准确之处,但没有说明具体争议落在哪里。

Anthropic的说法更直接。公司称自己设有实时监控,但由于与合作伙伴之间存在误解,这套监控没有用于此次网络攻击评测。Anthropic也承认,如果实时检查评测日志,问题本可以更早暴露。

模型已经能调用工具、连接系统、跑长任务,监控却没跟上。Anthropic有工具而没有把它接到这类评测上,OpenAI则仍在回查更早的日志。两家公司都要靠事后审计,才能补上事故发生时没有看见的部分。

攻击模型越强,防守方越缺工具

美国和欧洲已经开始讨论监管。美国总统特朗普表示政府正在研究控制措施;欧盟委员会与OpenAI、Anthropic举行了会谈;美国参议院情报委员会民主党领袖马克·沃纳则把Anthropic事件作为要求前沿模型强制能力测试的理由。

但强制测试只解决一半问题。如果测试本身可能越过隔离环境,监管还需要追问:谁实时查看日志,什么动作触发自动断网,实验室多久必须通报外部受害者,以及第三方能否检查这些控制是否真的工作。

强制测试之外,还有一个更尴尬的问题:真出事的时候,防守方能用的工具太少了。彭博社援引美国前国务院AI政策官员Daniel Remler的说法称,Hugging Face事后使用了Z.ai的中国开放权重模型进行取证和修补,因为当时无法依赖美国模型。

这是一名具名人士的说法,并非Hugging Face的正式披露,却点出了一个已经出现的难题:具备网络攻防能力的模型越受限制,真实受害者越需要另一套足够强、又能立即调用的防守工具。

下一个判断点,不是OpenAI或Anthropic再公布一项更高的网络安全成绩,而是两家公司能否说清楚新增事件有多少、越界持续了多久、监控为何没有报警,以及哪些权限已经被重新收紧。

模型能不能攻进系统,是能力问题。它越界的时候实验室有没有看见,才是安全问题。(易句)

(本文由AI翻译,网易编辑负责校对)

相关推荐
热点推荐
爆冷3连败!从西部第一跌落神坛,夺冠热门倒下,NBA确实变天了

爆冷3连败!从西部第一跌落神坛,夺冠热门倒下,NBA确实变天了

篮球扫地僧
2026-11-16 16:56:16
就在今天,克莱·汤普森创下一项NBA历史新纪录,此前无人做到。

就在今天,克莱·汤普森创下一项NBA历史新纪录,此前无人做到。

林子说事
2026-11-16 01:58:08
女人多久能忘记同居过的男友?

女人多久能忘记同居过的男友?

那年秋天
2026-10-12 20:30:52
张海迪是个谜!她1955年出生,虽然患有多种疾病,但如今不仅面色红润,还活得十分健康,还被日本电视台评为“世界五大杰出残疾人”之一

张海迪是个谜!她1955年出生,虽然患有多种疾病,但如今不仅面色红润,还活得十分健康,还被日本电视台评为“世界五大杰出残疾人”之一

扶苏聊历史
2026-11-16 17:32:01
俄阿赫图宾斯克机场遇袭响起百起爆炸!停放大量苏57战机

俄阿赫图宾斯克机场遇袭响起百起爆炸!停放大量苏57战机

项鹏飞
2026-11-15 20:49:51
歌手厉娜回应卷入借贷纠纷:是朋友的780万,只是帮忙转借,已回收借款200万,也第一时间转回给朋友,没有任何获利行为,已被团队教育

歌手厉娜回应卷入借贷纠纷:是朋友的780万,只是帮忙转借,已回收借款200万,也第一时间转回给朋友,没有任何获利行为,已被团队教育

极目新闻
2026-11-16 19:26:18
36岁女子只因拿不出五百房租,就被房东赶出房间,被朋友做局欺骗,负债百万,如今身上五十块都拿不出,在路边崩溃大哭!

36岁女子只因拿不出五百房租,就被房东赶出房间,被朋友做局欺骗,负债百万,如今身上五十块都拿不出,在路边崩溃大哭!

捣蛋窝
2026-11-16 15:56:18
莫泊桑《项链》:被语文课本教错了30年——这不是讽刺虚荣的寓言

莫泊桑《项链》:被语文课本教错了30年——这不是讽刺虚荣的寓言

王岗同学呀
2026-11-15 18:11:47
警惕!MCN杀猪盘套路:专挑女大学生下手,完不成直播任务就逼陪客抵债

警惕!MCN杀猪盘套路:专挑女大学生下手,完不成直播任务就逼陪客抵债

拍案社会
2026-11-15 10:08:36
lisa表演大玩擦边!钱别腰侧、又脏又油,母亲过往被扒原早有源头

lisa表演大玩擦边!钱别腰侧、又脏又油,母亲过往被扒原早有源头

月光作笺a
2026-11-16 18:21:11
发现一个奇怪的现象:电车没有干掉油车,却干掉了汽车修理厂!

发现一个奇怪的现象:电车没有干掉油车,却干掉了汽车修理厂!

補懂事的孩紙
2026-11-17 01:00:42
刘德华认清现实:明年不再接戏,《白衣逆行者》撤档不过问

刘德华认清现实:明年不再接戏,《白衣逆行者》撤档不过问

光影新天地
2026-11-15 17:32:40
大补的鱼,不是带鱼和鲫鱼而是这3种鱼一周吃2次补脑益智增强免疫

大补的鱼,不是带鱼和鲫鱼而是这3种鱼一周吃2次补脑益智增强免疫

椰青美食分享
2026-11-17 00:25:52
曼联队长索要40万英镑周薪续约,7年核心,B费成红魔重建最大障碍

曼联队长索要40万英镑周薪续约,7年核心,B费成红魔重建最大障碍

夏侯看英超
2026-11-17 00:17:12
袁大头一共铸造了10亿枚,如今只剩不到1亿,那9亿枚都去哪了?

袁大头一共铸造了10亿枚,如今只剩不到1亿,那9亿枚都去哪了?

文史达观
2026-11-15 22:11:09
玄学提醒:如果一个人还在穿着10年前的衣服,只说明几个问题

玄学提醒:如果一个人还在穿着10年前的衣服,只说明几个问题

木言观
2026-08-01 13:58:35
张雪悔捐持续升级!两家官媒出手,给韩红出口恶气,舆论两极反转

张雪悔捐持续升级!两家官媒出手,给韩红出口恶气,舆论两极反转

大鱼简科
2026-11-14 19:57:23
考古工地发现“啤酒瓶”,工人正准备扔掉被拦住,竟是700年前的文物

考古工地发现“啤酒瓶”,工人正准备扔掉被拦住,竟是700年前的文物

收藏大视界
2026-11-16 17:44:27
乌指挥官:若不能达成停火,今年冬天过后基辅或变得不再适宜居住

乌指挥官:若不能达成停火,今年冬天过后基辅或变得不再适宜居住

阿芒娱乐说
2026-11-12 08:09:28
中方两小时“送客令”:高市早苗不收回那句话,日本连装糊涂的资格都没有

中方两小时“送客令”:高市早苗不收回那句话,日本连装糊涂的资格都没有

浯江孤舟
2026-08-31 10:07:56
2026-11-17 01:43:00

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

官宣离婚不到1月,李小冉进医院

财经要闻

10万人逼宫英伟达 黄仁勋要复职了?

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

时尚
亲子
家居
游戏
军事航空

大风降温,穿羊羔毛啊!

亲子要闻

中小学校、幼儿园将聘任健康副校(园)长,深圳已先行探索

家居要闻

2026建博会(广州) 公装联探展交流活动

小伙表示连玩7天《GTA6》 这下PS5可惨了

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版