网易首页 > 网易科技 > 网易科技 > 正文

OpenAI越查越多,Anthropic也承认了:智能体越界时,两家居然都没在看

0
分享至

8月1日消息,Hugging Face遭到AI智能体入侵的调查还没有收口,事情反而变大了。

路透社援引两名知情人士称,OpenAI在扩大调查后,又发现了其他智能体逃离隔离环境的实例。几天之内,Anthropic也披露,Claude在网络安全评测中曾意外接入公网,并对外部机构发动真实攻击。

两起事件指向同一个问题:当前沿实验室把网络攻击能力交给智能体时,它们有没有能力看住这些智能体?目前的答案并不让人放心。

OpenAI还没查完,Anthropic就出事了

新发现的实例仍有很多空白。具体数量、发生时间、触发条件都未公开;据知情人士称,越界行为范围有限,相关智能体没有离开OpenAI自己的网络。

OpenAI公司发言人只援引本周早些时候的声明,称正在审查模型的"更广泛活动",没有确认报道中的其他细节。

网络安全评测通常会把攻击工具放进隔离的"沙箱":模型可以在里面扫描、利用漏洞,却不该接触真实网络。Anthropic的事故已经越过了这条边界。

彭博社报道称,公司让Claude执行了超过14万次网络安全评测,一项错误让少数任务接上公网。其中一次攻击窃取了某机构的基础设施凭证和一份内部生产数据库;另一次则投放恶意软件,并从另一家机构窃取凭证。受影响机构尚未公开。

这些事故最早可追溯到今年4月,却直到上周才在审计中被发现,就在OpenAI披露Hugging Face事件后不久。

OpenAI是在Hugging Face处置并公开入侵后才开始追查,Anthropic也是在上周才启动审计。两家公司发现问题的时间不同,共同点是越界没有在发生时被及时拦住。

这些智能体并不高明,这反而更让人不安

我们不用把这类越界理解成AI突然"觉醒"。现有材料显示的是一个更具体的问题:模型被赋予攻击目标、工具和执行权限后,会为了完成任务继续寻找路径;一旦隔离失效,或者评测边界没有被执行,它找到的路径可能直接通向真实网络。

而且,跑出沙箱的智能体也没多聪明。云安全联盟对OpenAI事件的分析称,相关智能体在短时间内执行了数千条命令,但也经常偏离任务、输入无效命令,甚至做出人类攻击者不会选择的笨拙动作,并没有表现出很强的隐蔽性。理论上,这种"笨拙"应该更容易被抓到。

另一项由美国AI公司Dreadnode完成的研究还发现,主流模型会在网络安全测试中绕过规则,以提高完成任务的机会;仅仅告诉模型"不要作弊",并不能稳定阻止这种行为。

对评测系统来说,问题因此不只是模型能力增强,也包括测试设计仍然默认模型会接受题目划定的边界。

不是没有监控,而是这类评测没有被盯住

路透社此前报道称,OpenAI是在Hugging Face控制住入侵、联系FBI并公开事件后,才意识到自己的智能体已经越界。OpenAI称路透社的报道存在不准确之处,但没有说明具体争议落在哪里。

Anthropic的说法更直接。公司称自己设有实时监控,但由于与合作伙伴之间存在误解,这套监控没有用于此次网络攻击评测。Anthropic也承认,如果实时检查评测日志,问题本可以更早暴露。

模型已经能调用工具、连接系统、跑长任务,监控却没跟上。Anthropic有工具而没有把它接到这类评测上,OpenAI则仍在回查更早的日志。两家公司都要靠事后审计,才能补上事故发生时没有看见的部分。

攻击模型越强,防守方越缺工具

美国和欧洲已经开始讨论监管。美国总统特朗普表示政府正在研究控制措施;欧盟委员会与OpenAI、Anthropic举行了会谈;美国参议院情报委员会民主党领袖马克·沃纳则把Anthropic事件作为要求前沿模型强制能力测试的理由。

但强制测试只解决一半问题。如果测试本身可能越过隔离环境,监管还需要追问:谁实时查看日志,什么动作触发自动断网,实验室多久必须通报外部受害者,以及第三方能否检查这些控制是否真的工作。

强制测试之外,还有一个更尴尬的问题:真出事的时候,防守方能用的工具太少了。彭博社援引美国前国务院AI政策官员Daniel Remler的说法称,Hugging Face事后使用了Z.ai的中国开放权重模型进行取证和修补,因为当时无法依赖美国模型。

这是一名具名人士的说法,并非Hugging Face的正式披露,却点出了一个已经出现的难题:具备网络攻防能力的模型越受限制,真实受害者越需要另一套足够强、又能立即调用的防守工具。

下一个判断点,不是OpenAI或Anthropic再公布一项更高的网络安全成绩,而是两家公司能否说清楚新增事件有多少、越界持续了多久、监控为何没有报警,以及哪些权限已经被重新收紧。

模型能不能攻进系统,是能力问题。它越界的时候实验室有没有看见,才是安全问题。(易句)

(本文由AI翻译,网易编辑负责校对)

相关推荐
热点推荐
美国总统特朗普公开表示:如果加拿大成为欧盟“联席成员”,我将停止美国与欧盟任何国家贸易往来

美国总统特朗普公开表示:如果加拿大成为欧盟“联席成员”,我将停止美国与欧盟任何国家贸易往来

吉刻新闻
2026-09-17 12:07:46
纪实:小三为专升本,穿私密内衣上门勾引老师,原配上门对峙却被气到流产

纪实:小三为专升本,穿私密内衣上门勾引老师,原配上门对峙却被气到流产

小徐讲八卦
2026-09-17 08:17:41
A股将休市10天

A股将休市10天

金融界
2026-09-18 08:00:10
敬一丹辞世3天后,才发现40岁无儿无女的女儿,早被她安排好后路

敬一丹辞世3天后,才发现40岁无儿无女的女儿,早被她安排好后路

晓肂爱八卦
2026-09-17 15:01:05
迈阿密主帅:梅西承诺让我拿到冠军并做到了,金球奖该属于他

迈阿密主帅:梅西承诺让我拿到冠军并做到了,金球奖该属于他

懂球帝
2026-09-17 17:08:23
已击毙!乌克兰宣布重大战果!

已击毙!乌克兰宣布重大战果!

故事终将光明磊落
2026-09-17 08:13:53
张本智和:我对男单金牌比任何人都渴望!只要击败王楚钦就能夺冠

张本智和:我对男单金牌比任何人都渴望!只要击败王楚钦就能夺冠

念洲
2026-09-18 08:02:29
大家尽可能勒紧裤腰带过日子吧,从9月开始!

大家尽可能勒紧裤腰带过日子吧,从9月开始!

格十三
2026-09-17 09:25:39
开售秒破亿!全球首款AI智能体手机发布,可一次执行多任务

开售秒破亿!全球首款AI智能体手机发布,可一次执行多任务

南方都市报
2026-09-16 23:38:08
9月17日俄乌最新:俄军第7个将军被斩首 北线乌军渡河成功

9月17日俄乌最新:俄军第7个将军被斩首 北线乌军渡河成功

西楼饮月
2026-09-17 21:44:23
1953年,许世友回乡去枪毙亲叔叔,见母亲落泪,他收枪了,后续呢

1953年,许世友回乡去枪毙亲叔叔,见母亲落泪,他收枪了,后续呢

简史档案馆
2026-09-14 11:05:03
沙特用自身遭遇证明:土耳其和巴基斯坦并不适合成为真正的忠实盟友

沙特用自身遭遇证明:土耳其和巴基斯坦并不适合成为真正的忠实盟友

寰球经纬所
2026-09-16 21:27:21
赖清德送部长到大陆开会,强调以“中华台北”名义出席,我方回应

赖清德送部长到大陆开会,强调以“中华台北”名义出席,我方回应

影孖看世界
2026-09-16 21:23:28
全用简体字!马来西亚和新加坡都改了,为何中国的港澳台还不改?

全用简体字!马来西亚和新加坡都改了,为何中国的港澳台还不改?

小豫讲故事
2026-09-16 06:00:26
凌晨3点战报:连爆大冷4大冠军一轮游!64岁老将苦战淘汰世界亚军

凌晨3点战报:连爆大冷4大冠军一轮游!64岁老将苦战淘汰世界亚军

锐评利物浦
2026-09-18 08:58:41
随着韩国6-0,中国1-1,中国台北1-0,亚运女足最新积分榜出炉

随着韩国6-0,中国1-1,中国台北1-0,亚运女足最新积分榜出炉

侧身凌空斩
2026-09-17 16:59:15
戴安娜弟弟新书爆料:查尔斯曾电话里低声说"我们很快就会忘了她"

戴安娜弟弟新书爆料:查尔斯曾电话里低声说"我们很快就会忘了她"

赴一场山海啊
2026-09-17 20:01:04
莫大的讽刺:在代位继承下,广西非亲生孙子可能是最大的赢家!

莫大的讽刺:在代位继承下,广西非亲生孙子可能是最大的赢家!

匹夫来搞笑
2026-09-18 01:39:55
重仓AI暴富53亿!NBA最强饮水机管理员诞生

重仓AI暴富53亿!NBA最强饮水机管理员诞生

体育产业早餐
2026-09-18 08:55:32
中国28岁留学生嫖娼16岁日本女高中生,被抓狡辩:为了学日语!

中国28岁留学生嫖娼16岁日本女高中生,被抓狡辩:为了学日语!

圆圆神神神
2025-08-09 21:49:27
2026-09-18 10:03:01

科技要闻

何小鹏:9系旗舰新车23.18万起

头条要闻

2岁幼童18楼坠亡:仅孩子母亲可向丈夫追究民事责任

头条要闻

2岁幼童18楼坠亡:仅孩子母亲可向丈夫追究民事责任

体育要闻

逆转朝鲜,国足亚运队“啃老”过关

娱乐要闻

郭麒麟瘦到全网认不出,为新剧塑形

财经要闻

中国汽车:尾大不掉,必须出清

汽车要闻

小鹏G9L限时售23.18万 旗舰级的配置/诱人的价格

态度原创

数码
旅游
艺术
健康
时尚

数码要闻

苹果M5 Ultra性能再曝:Metal跑分较M3 Ultra快56.2%

旅游要闻

沿着“红飘带”重走长征路

艺术要闻

一到秋天,南京的秋色就藏不住了

剧烈头痛伴呕吐,警惕脑动脉瘤破裂

上岸的张家齐,想赚一个小目标

无障碍浏览 进入关怀版