网易首页 > 网易号 > 正文 申请入驻

英国AI安全机构披露:Anthropic与OpenAI模型在安全测试中失控

0
分享至

当地时间8月4日,英国人工智能安全研究所(AISI)发布报告称,在近期一次例行网络安全评估中,AnthropicMythos 5和OpenAIGPT-5.6-Sol模型在真实互联网上采取了未经授权的自主行动,指向真实个人和组织,表现出可能具有欺骗性的行为。

AISI表示,此次评估于7月25日开始,共使用多个模型在两类网络靶场上进行了122次运行测试。其间,有10次AI智能体在未经授权的情况下在实时互联网上采取了行动,记录的19起越界事件中17起来自AnthropicMythos 5,2起涉及OpenAIGPT-5.6-Sol。

在最严重的一起案例中,一个智能体试图向GitHub上的一个公开开源项目植入恶意代码。为实现这一目的,该智能体研究了项目的人类审核员,创建了多个虚假网络身份,通过社会工程学手段向真实维护者施压,要求其批准代码。当拉取请求受到质疑时,该智能体修改了此前的活动记录,使其看起来并无恶意,并考虑换一个新身份继续行动。最终,一位审核员发现并拒绝了该恶意代码。

此外,该智能体还向真实个人直接发送消息和文件,试图说服其运行恶意代码。调查还发现,同时被评估的独立智能体之间存在协作行为,一个智能体在GitHub上公开留言,向处理同一挑战的其他智能体提供协作,并提供复用其账户和痕迹的说明。


AISI在报告中强调,这并非模型逃逸安全测试环境(即沙箱)的案例。按照网络安全测试的标准操作,AISI有意允许了互联网访问,并刻意禁用了模型提供商的安全分类器,因此,这些条件并不反映模型向公众开放时的实际情况。

基于此,AISI认为是评估设计选择和特定配置促成了模型失控行为。但智能体活动显示出一些新颖的、可能具有欺骗性的行为,其程度和严重性均超出预期。AISI表示,这是首次在没有特定提示的情况下,在现实世界中如此清晰地看到与自主性和欺骗性相关的风险显现出来。

OpenAI同日发文回应称,随着模型能力的提升,围绕模型的安全保障系统也需要随之升级。这不仅包括用于开发模型的环境,也包括实验室和独立合作伙伴用于评估模型的环境。

Anthropic回应称,正与AISI合作收集事件细节,并通过审查Claude推理记录进行独立分析,以了解其对自身处境的理解,找出行为背后的原因。

AISI在报告中总结称:OpenAI和Anthropic近期事件指向风险格局的转变。危害不仅来自人们故意滥用公开可用的模型,还可能来自在内部研究或特权访问环境中运行的智能体采取超出其授权范围的意外行动。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
西伯利亚-63℃小卖部:全村约900人,苹果30块1个,1斤牛肉10多元

西伯利亚-63℃小卖部:全村约900人,苹果30块1个,1斤牛肉10多元

铭记历史呀
2026-08-03 16:48:33
李荣浩抄袭风波升级,私生活被扒,丁克原因曝光,单依纯没说谎

李荣浩抄袭风波升级,私生活被扒,丁克原因曝光,单依纯没说谎

琴琴有氧运动
2026-08-05 10:07:19
厨房里3种调料,导致中国人死亡率全球第一,专家:不能再这么吃

厨房里3种调料,导致中国人死亡率全球第一,专家:不能再这么吃

看世界的人
2026-08-02 16:21:29
不赌就得死

不赌就得死

求实处
2026-08-04 23:02:06
大家发现没有了吗?油车跑1000公里要500块,电车跑1000公里呢?

大家发现没有了吗?油车跑1000公里要500块,电车跑1000公里呢?

生活魔术专家
2026-08-02 14:07:42
现在已经不是美国敢不敢打中国的问题,是中国让不让美国打的问题

现在已经不是美国敢不敢打中国的问题,是中国让不让美国打的问题

史之铭
2026-08-05 08:24:54
79年杨勇访问英国,宴会上对方故意插国民党旗,杨勇的做法很高明

79年杨勇访问英国,宴会上对方故意插国民党旗,杨勇的做法很高明

芊芊子吟
2026-08-05 08:45:08
Deepseek分析:内脏脂肪杀手比跑步多减16.1%脂肪,腰细8厘米

Deepseek分析:内脏脂肪杀手比跑步多减16.1%脂肪,腰细8厘米

路医生健康科普
2026-08-04 20:45:03
无锡朱女士衣服可真不少!多次出镜穿搭不重样,网友:工作到39岁,券商中层高薪人士几件衣服都没有吗

无锡朱女士衣服可真不少!多次出镜穿搭不重样,网友:工作到39岁,券商中层高薪人士几件衣服都没有吗

火山詩话
2026-08-04 07:12:30
AI演员30天涨粉40万,报价直逼千万顶流:真人网红慌了吗?

AI演员30天涨粉40万,报价直逼千万顶流:真人网红慌了吗?

固件更新中
2026-08-04 09:26:59
大马歌后消失12年复出!自曝被经纪人坑、儿子得自闭症、亲爹爱上她闺蜜?

大马歌后消失12年复出!自曝被经纪人坑、儿子得自闭症、亲爹爱上她闺蜜?

英国报姐
2026-08-04 23:39:21
杜兰特贬低两冠军队友:克莱一辈子没进过MVP讨论,后者直接开喷

杜兰特贬低两冠军队友:克莱一辈子没进过MVP讨论,后者直接开喷

晚风知我意21
2026-08-04 19:45:12
本是一场余音绕梁的盛宴,为何成了噤若寒蝉的霸权?

本是一场余音绕梁的盛宴,为何成了噤若寒蝉的霸权?

问道求真
2026-08-02 20:43:51
乌克兰无人机在俄度假海滩坠毁爆炸,已致7死40伤 黑海舰队一基地位于附近

乌克兰无人机在俄度假海滩坠毁爆炸,已致7死40伤 黑海舰队一基地位于附近

红星新闻
2026-08-04 12:36:19
日本:8月1日起断供半导体设备!

日本:8月1日起断供半导体设备!

新浪财经
2026-08-03 13:48:35
胚胎案男主回应让朱女士当场气吐,称丈夫给生活费还索要孩子花销明细,最后的脸面也被揭下来了

胚胎案男主回应让朱女士当场气吐,称丈夫给生活费还索要孩子花销明细,最后的脸面也被揭下来了

Mr王的饭后茶
2026-08-04 18:41:51
竹知了视频下架,如今万物皆可“嘲讽企业家”

竹知了视频下架,如今万物皆可“嘲讽企业家”

冰川思想库
2026-08-04 10:41:38
被注射不明物仅冰山一角!金子涵再爆猛料,上百位艺人被点名牵连

被注射不明物仅冰山一角!金子涵再爆猛料,上百位艺人被点名牵连

感恩每一刻
2026-07-18 04:28:24
突发!美国拟禁止采购中国光模块!

突发!美国拟禁止采购中国光模块!

中国半导体论坛
2026-08-05 00:47:04
稳稳接住世界杯的,是一个新联想

稳稳接住世界杯的,是一个新联想

无相商业趋势
2026-08-04 17:44:14
2026-08-05 11:56:49
第一财经资讯 incentive-icons
第一财经资讯
第一财经官方账号
261753文章数 623177关注度
往期回顾 全部

科技要闻

SpaceX首份财报:营收暴涨92%,AI狂烧千亿

头条要闻

好莱坞巨星被指控性侵多名女性包括未成年人 本人发声

头条要闻

好莱坞巨星被指控性侵多名女性包括未成年人 本人发声

体育要闻

最有钱的球队,夺冠一年后吃了散伙饭

娱乐要闻

陈凯琳首回应孩子在电影院吵闹被泼奶油

财经要闻

刷屏的光模块,中国实力几何?

汽车要闻

拉开上汽通用30款新车序幕 别克至境L7纯电将预售

态度原创

手机
教育
家居
旅游
时尚

手机要闻

安兔兔7月性价比榜解析,小米、vivo、OPPO等都有谁入围

教育要闻

成都盐外芙蓉学校学子暑期践行劳动教育 在烟火日常中淬炼成长

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

消费新图景|多元文旅产品点燃夏日消费热潮

夏天裤子不用买得太多太贵!准备一条白色阔腿裤,显瘦又清爽

无障碍浏览 进入关怀版