网易首页 > 网易号 > 正文 申请入驻

英国AI安全机构披露:Anthropic与OpenAI模型在安全测试中失控

0
分享至

当地时间8月4日,英国人工智能安全研究所(AISI)发布报告称,在近期一次例行网络安全评估中,AnthropicMythos 5和OpenAIGPT-5.6-Sol模型在真实互联网上采取了未经授权的自主行动,指向真实个人和组织,表现出可能具有欺骗性的行为。

AISI表示,此次评估于7月25日开始,共使用多个模型在两类网络靶场上进行了122次运行测试。其间,有10次AI智能体在未经授权的情况下在实时互联网上采取了行动,记录的19起越界事件中17起来自AnthropicMythos 5,2起涉及OpenAIGPT-5.6-Sol。

在最严重的一起案例中,一个智能体试图向GitHub上的一个公开开源项目植入恶意代码。为实现这一目的,该智能体研究了项目的人类审核员,创建了多个虚假网络身份,通过社会工程学手段向真实维护者施压,要求其批准代码。当拉取请求受到质疑时,该智能体修改了此前的活动记录,使其看起来并无恶意,并考虑换一个新身份继续行动。最终,一位审核员发现并拒绝了该恶意代码。

此外,该智能体还向真实个人直接发送消息和文件,试图说服其运行恶意代码。调查还发现,同时被评估的独立智能体之间存在协作行为,一个智能体在GitHub上公开留言,向处理同一挑战的其他智能体提供协作,并提供复用其账户和痕迹的说明。


AISI在报告中强调,这并非模型逃逸安全测试环境(即沙箱)的案例。按照网络安全测试的标准操作,AISI有意允许了互联网访问,并刻意禁用了模型提供商的安全分类器,因此,这些条件并不反映模型向公众开放时的实际情况。

基于此,AISI认为是评估设计选择和特定配置促成了模型失控行为。但智能体活动显示出一些新颖的、可能具有欺骗性的行为,其程度和严重性均超出预期。AISI表示,这是首次在没有特定提示的情况下,在现实世界中如此清晰地看到与自主性和欺骗性相关的风险显现出来。

OpenAI同日发文回应称,随着模型能力的提升,围绕模型的安全保障系统也需要随之升级。这不仅包括用于开发模型的环境,也包括实验室和独立合作伙伴用于评估模型的环境。

Anthropic回应称,正与AISI合作收集事件细节,并通过审查Claude推理记录进行独立分析,以了解其对自身处境的理解,找出行为背后的原因。

AISI在报告中总结称:OpenAI和Anthropic近期事件指向风险格局的转变。危害不仅来自人们故意滥用公开可用的模型,还可能来自在内部研究或特权访问环境中运行的智能体采取超出其授权范围的意外行动。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
选择党拿下第二个州议会,德政坛“防火墙”缘何失灵

选择党拿下第二个州议会,德政坛“防火墙”缘何失灵

上观新闻
2026-09-20 06:55:47
深夜爆大瓜!匿名爆料引爆热搜:网传85花与前辈老公已离婚,约定等孩子长大再官宣

深夜爆大瓜!匿名爆料引爆热搜:网传85花与前辈老公已离婚,约定等孩子长大再官宣

火山詩话
2026-09-18 05:06:28
李昊苦笑!国足22岁中卫又失误:头球顶向自家球门,漏人险被绝杀

李昊苦笑!国足22岁中卫又失误:头球顶向自家球门,漏人险被绝杀

球场没跑道
2026-09-20 16:13:08
狂降30万!2026款保时捷卡宴3.0T逐梦版特惠:裸车61.8万

狂降30万!2026款保时捷卡宴3.0T逐梦版特惠:裸车61.8万

快科技
2026-09-20 19:32:20
黎姿大变样!剪短卷发穿条纹西装,褪去港星滤镜,活成豪门女总裁

黎姿大变样!剪短卷发穿条纹西装,褪去港星滤镜,活成豪门女总裁

明星私服穿搭daily
2026-09-19 18:15:16
她坚决拒绝入日本籍!只为中国出战,与张本智和形成鲜明对比

她坚决拒绝入日本籍!只为中国出战,与张本智和形成鲜明对比

阿讯说天下
2026-09-20 10:56:37
亚运男足B组积分:中国、伊朗同积4分,中国因净胜球劣势位列第2

亚运男足B组积分:中国、伊朗同积4分,中国因净胜球劣势位列第2

懂球帝
2026-09-20 15:09:08
王艺迪1-3输日本削球手,周启豪李天阳惨败!国乒单打全军覆没,日乒女单夺冠!国乒连丢4冠!

王艺迪1-3输日本削球手,周启豪李天阳惨败!国乒单打全军覆没,日乒女单夺冠!国乒连丢4冠!

好乒乓
2026-09-20 19:11:46
银行罕见上调存款利率!降息的时代结束了吗?你的存款该如何保值

银行罕见上调存款利率!降息的时代结束了吗?你的存款该如何保值

一些小事
2026-09-20 16:44:54
中央领导悼念仅1天,央视对敬一丹称呼变了,2字之差释放强烈信号

中央领导悼念仅1天,央视对敬一丹称呼变了,2字之差释放强烈信号

史之韵
2026-09-19 01:09:03
大快人心!170亿3分钟没了,日本这下元气大伤,高市早苗心态要崩

大快人心!170亿3分钟没了,日本这下元气大伤,高市早苗心态要崩

莫地方
2026-09-19 23:52:38
王曼昱1-3不敌朱雨玲,国乒女团0-1落后中国澳门

王曼昱1-3不敌朱雨玲,国乒女团0-1落后中国澳门

懂球帝
2026-09-20 16:01:07
赛力斯高管:中国汽车不能靠压缩验证周期、降低安全标准来抢速度

赛力斯高管:中国汽车不能靠压缩验证周期、降低安全标准来抢速度

凤凰网科技
2026-09-20 11:30:10
华为申请“问境”商标,问界会改名吗?官方回应来了

华为申请“问境”商标,问界会改名吗?官方回应来了

ZAKER新闻
2026-09-20 18:17:56
1984年两暴徒袭击金华武警驻地,致38名战士死伤,结局太惨

1984年两暴徒袭击金华武警驻地,致38名战士死伤,结局太惨

莫地方
2026-09-17 23:43:04
普京曾数次痛批列宁:一生最大的错误,就是把统一国家改造成联盟

普京曾数次痛批列宁:一生最大的错误,就是把统一国家改造成联盟

非虚构人间
2026-09-20 10:15:03
亚运会第1日:共产生31块金牌 中国队有17个争金项目

亚运会第1日:共产生31块金牌 中国队有17个争金项目

体育哲人
2026-09-20 08:59:25
iPhone 18 Pro 1TB版本使用QLC闪存引发争议:加价数千元却买到降级配置

iPhone 18 Pro 1TB版本使用QLC闪存引发争议:加价数千元却买到降级配置

快科技
2026-09-19 21:08:06
9月,香港美元定存利率暴涨!最高8.88%

9月,香港美元定存利率暴涨!最高8.88%

新加坡椰子
2026-09-19 21:53:30
李嘉诚再次精准预判!如果不出意外的话,未来3年,楼市或迎来3大走向!

李嘉诚再次精准预判!如果不出意外的话,未来3年,楼市或迎来3大走向!

巢客HOME
2026-09-18 06:00:09
2026-09-20 21:00:49
第一财经资讯 incentive-icons
第一财经资讯
第一财经官方账号
267045文章数 623651关注度
往期回顾 全部

科技要闻

谷歌承认:AI模型“黑”进3家公司

头条要闻

微博大V"理记"称西贝已起诉罗永浩:就要开庭了

头条要闻

微博大V"理记"称西贝已起诉罗永浩:就要开庭了

体育要闻

游泳2小时6金!亚运金牌榜:中国11金领跑

娱乐要闻

许嵩刚官宣结婚,冯禧黑历史就被扒

财经要闻

民企土地 被政府"无偿收储"后转手卖7亿

汽车要闻

FREELANDER神行者8开启交付 首批新车正式交付用户

态度原创

手机
游戏
家居
本地
公开课

手机要闻

卢伟冰谈小米18 Pro系列手机定价:是会涨,但相信大家会觉得合理

满屏都是大国浪漫!《率土之滨》跨界联动福建舰打造SLG新体验

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版