网易首页 > 网易号 > 正文 申请入驻

英国AI安全机构披露:Anthropic与OpenAI模型在安全测试中失控

0
分享至

当地时间8月4日,英国人工智能安全研究所(AISI)发布报告称,在近期一次例行网络安全评估中,AnthropicMythos 5和OpenAIGPT-5.6-Sol模型在真实互联网上采取了未经授权的自主行动,指向真实个人和组织,表现出可能具有欺骗性的行为。

AISI表示,此次评估于7月25日开始,共使用多个模型在两类网络靶场上进行了122次运行测试。其间,有10次AI智能体在未经授权的情况下在实时互联网上采取了行动,记录的19起越界事件中17起来自AnthropicMythos 5,2起涉及OpenAIGPT-5.6-Sol。

在最严重的一起案例中,一个智能体试图向GitHub上的一个公开开源项目植入恶意代码。为实现这一目的,该智能体研究了项目的人类审核员,创建了多个虚假网络身份,通过社会工程学手段向真实维护者施压,要求其批准代码。当拉取请求受到质疑时,该智能体修改了此前的活动记录,使其看起来并无恶意,并考虑换一个新身份继续行动。最终,一位审核员发现并拒绝了该恶意代码。

此外,该智能体还向真实个人直接发送消息和文件,试图说服其运行恶意代码。调查还发现,同时被评估的独立智能体之间存在协作行为,一个智能体在GitHub上公开留言,向处理同一挑战的其他智能体提供协作,并提供复用其账户和痕迹的说明。


AISI在报告中强调,这并非模型逃逸安全测试环境(即沙箱)的案例。按照网络安全测试的标准操作,AISI有意允许了互联网访问,并刻意禁用了模型提供商的安全分类器,因此,这些条件并不反映模型向公众开放时的实际情况。

基于此,AISI认为是评估设计选择和特定配置促成了模型失控行为。但智能体活动显示出一些新颖的、可能具有欺骗性的行为,其程度和严重性均超出预期。AISI表示,这是首次在没有特定提示的情况下,在现实世界中如此清晰地看到与自主性和欺骗性相关的风险显现出来。

OpenAI同日发文回应称,随着模型能力的提升,围绕模型的安全保障系统也需要随之升级。这不仅包括用于开发模型的环境,也包括实验室和独立合作伙伴用于评估模型的环境。

Anthropic回应称,正与AISI合作收集事件细节,并通过审查Claude推理记录进行独立分析,以了解其对自身处境的理解,找出行为背后的原因。

AISI在报告中总结称:OpenAI和Anthropic近期事件指向风险格局的转变。危害不仅来自人们故意滥用公开可用的模型,还可能来自在内部研究或特权访问环境中运行的智能体采取超出其授权范围的意外行动。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中国车市连续7个月降幅超20%

中国车市连续7个月降幅超20%

西虹市闲话
2026-11-16 13:16:09
当下 “发不出工资” 的 4 个行业!比想象中还严重!

当下 “发不出工资” 的 4 个行业!比想象中还严重!

职场资深秘书
2026-11-16 15:09:51
假哭别演正剧!《伟大的长征》结局李乃文用鼻涕横流的哭戏,把张国焘哭成了历史的笑柄

假哭别演正剧!《伟大的长征》结局李乃文用鼻涕横流的哭戏,把张国焘哭成了历史的笑柄

娱乐故事
2026-11-16 21:08:06
固态电池正式装车!续航1000公里下探15万,新能源车要变天了

固态电池正式装车!续航1000公里下探15万,新能源车要变天了

阿芒娱乐说
2026-11-17 14:58:59
比黄仁勋的事大:美国与8个盟友“签约”,竟要联手针对中国AI?

比黄仁勋的事大:美国与8个盟友“签约”,竟要联手针对中国AI?

互联鱼
2026-11-18 00:10:09
74岁马保国出售上海豪宅,140多平卖400多万,豪宅画面流出

74岁马保国出售上海豪宅,140多平卖400多万,豪宅画面流出

小徐讲八卦
2026-11-17 10:08:29
独一档,哈兰德25球领跑欧国联历史射手榜,领先第二名9球

独一档,哈兰德25球领跑欧国联历史射手榜,领先第二名9球

懂球帝
2026-11-18 07:23:14
“每早六点起床伺候9个孙子”,老人晒退休生活,网友:苦了一辈子,真要命

“每早六点起床伺候9个孙子”,老人晒退休生活,网友:苦了一辈子,真要命

泽泽先生
2026-11-17 16:07:45
中国接到消息,东盟峰会第一天,菲防长大谈南海,帮手已签字挺菲

中国接到消息,东盟峰会第一天,菲防长大谈南海,帮手已签字挺菲

章幃户外
2026-11-17 11:00:55
特朗普:如果前英伟达首席执行官黄仁勋回归公司,我不会介意

特朗普:如果前英伟达首席执行官黄仁勋回归公司,我不会介意

阿尔卑斯瞭望
2026-11-17 18:48:06
1927年,毛泽东被捕后,在被押解去执行死刑的途中,他突然对一名团丁说:“老哥,我腿疼,可能伤筋了!”

1927年,毛泽东被捕后,在被押解去执行死刑的途中,他突然对一名团丁说:“老哥,我腿疼,可能伤筋了!”

扶苏聊历史
2026-11-06 18:18:35
知名港星癌细胞扩散至脑部,闻到身上有尸臭味,剩四分之一条人命

知名港星癌细胞扩散至脑部,闻到身上有尸臭味,剩四分之一条人命

叨唠
2026-03-15 17:36:49
英锦赛最新临时排名:小特跌至第八,囧哥冲击大满贯追赶赵心童!

英锦赛最新临时排名:小特跌至第八,囧哥冲击大满贯追赶赵心童!

夜深聊球
2026-11-17 20:05:19
厉娜的瓜太炸裂了!2018年,她和经纪人在外面放贷,厉娜出了780万,经纪人出了1030万,一共1810万借给陈某,利息高达36%!

厉娜的瓜太炸裂了!2018年,她和经纪人在外面放贷,厉娜出了780万,经纪人出了1030万,一共1810万借给陈某,利息高达36%!

静若梨花
2026-11-16 22:23:40
美国、俄罗斯、欧洲猛然发现一件头疼事:低估了中国,高估了自己

美国、俄罗斯、欧洲猛然发现一件头疼事:低估了中国,高估了自己

文史达观
2025-03-27 12:59:20
敖海清主任:苹果煮水太厉害了!睡前一碗睡得香气血足

敖海清主任:苹果煮水太厉害了!睡前一碗睡得香气血足

蜡笔小小子
2026-11-15 15:10:25
俩月狂卖1万单的“毁脸神药”,把“穷鬼女孩”体面戳破了

俩月狂卖1万单的“毁脸神药”,把“穷鬼女孩”体面戳破了

李砍柴
2026-11-16 22:20:50
《多喜一家人》口碑爆棚,本是冲着蒋欣来的,却被46岁男配吸引

《多喜一家人》口碑爆棚,本是冲着蒋欣来的,却被46岁男配吸引

天玑影视说
2026-11-17 09:32:41
放弃五大联赛邀约!斯帅空降泰山,第一件事竟是深挖 B 队

放弃五大联赛邀约!斯帅空降泰山,第一件事竟是深挖 B 队

体坛小鹏
2026-11-17 09:40:50
为什么不建议夜跑?

为什么不建议夜跑?

跑者排球视角
2026-11-11 23:31:19
2026-11-18 07:47:00
第一财经资讯 incentive-icons
第一财经资讯
第一财经官方账号
272794文章数 624074关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

中俄美元首首次三方"面谈" 俄方:现代史上前所未有

头条要闻

中俄美元首首次三方"面谈" 俄方:现代史上前所未有

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

全民抛售AI,市场转折点或已悄然临近

汽车要闻

奕境X9纯电版信息曝光 将于11月27日广州车展上市

态度原创

手机
本地
数码
公开课
军事航空

手机要闻

iPhone Duo屏幕开裂事件再起波澜 苹果被指施压折叠屏供应商撤回声明

本地新闻

乌兰察布:以前种土豆,现在种Token

数码要闻

NVIDIA发布全新GPU猛兽!CUDA核心数量创纪录:首次超过5万个

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版