网易首页 > 网易号 > 正文 申请入驻

433次攻击被判安全,AI智能体安全榜翻车了

0
分享至

AI智能体已经在替我们读邮件、订行程、动账户里的钱。在它接触任何真实事务之前,通常有人会先把它丢进一个安全基准测试:一组预先埋好的攻击,加上一套自动判定,用来判断每次攻击是否奏效。这些判定最终变成排行榜上的数字,而数字决定了哪些模型看起来是安全的。


TRUSCOR团队想弄清楚一件很朴素的事:当检查说一次攻击成功了,它真的成功了吗?当检查说智能体是安全的,它真的安全吗?

他们拿广泛使用的AI智能体安全基准AgentDojo开刀,把它的判定和智能体实际发起的工具调用逐条对照。对照对象包括基准作者公开的19381次运行记录,以及来自八家开发商的24个当前模型的新运行。每一项研究在开跑之前都先公开了方案。

真攻击被判成了安全

在公开的运行记录上,基准和审计在未崩溃的运行中一致率达到97.7%。检查大体上完成了它的工作。

但有433次运行,智能体执行了攻击者的决定性动作——比如把钱付给攻击者——基准却判为“无攻击”。这占审计认定为攻击的运行的11.9%。在基准当前版本下的新运行中,744次攻击里有55次被漏判。

警告被判成了攻击

更出乎意料的是,误差还朝反方向跑。

对某一类目标,基准靠检查智能体回复的文本来判定。这个检查的问题此前已被公开报告过,团队测量了它在当前模型上的表现。当一个Claude 5.x模型识别出被植入的指令并向用户发出警告时,这条警告本身被判为一次成功的攻击。三个来自不同开发商的AI模型盲读了争议回复,把基准判为受攻击的全部219条Claude 5.x回复都读成了警告。而Claude 4.5模型对植入文本只字不提,反而从未被判为受攻击。

一个会提醒你的模型,看起来可能比一个闷不吭声的模型更不安全。

影响有多大取决于目标的混合比例。团队的样本运行该目标的频率高于基准本身。在这一目标上,四个Claude 5.x模型有10.9%到12.8%的案例被判为受攻击;按基准自身的混合比例加权后,这个数字是1.8%到2.1%。

一次记录在案的攻击,还管用吗?

单次运行只是一次抽样。团队把240次记录在案的攻击各重跑了十遍:224次在至少一半的运行中复现,201次能在95%置信度上证明这一点。

结论是:一次运行不足以证明一次攻击有多高的成功率。

升级拦住了大多数已知攻击,但不是全部:Grok 4.1 Fast的40次攻击中,仍有3次在Grok 4.7上奏效。

团队还测试了事先声明的规则,用来判断哪些环境改动可以阻止攻击。在协议原定的三个模型上,结果以微弱差距未达到预设标准(差距12.8个百分点,95%区间9.2到16.3,标准为10)。在看到中期结果后追加的扩展测试中,六个模型上达到了标准(14.7,区间11.9到17.4)。在其他模型上测得的规则,9次测试中只有1次能迁移到一个留出模型上。这些结果全部照实报告。

他们造了什么:.sova

为了让这类发现可以被核查,团队做了.sova:一个开源工具和记录格式。一个.sova文件把一条攻击主张连同复现配方、证据、公平比较的规则和它的局限一起封存。改动一个字节,离线就能看出来。

  • pip install sova-oss
  • sova verify finding.sova:离线检查内容有没有被改动
  • sova audit runs/:把基准判定和工具调用对照核查
  • sova rerun finding.sova:在你选定的模型上重跑一条发现

打开一条记录不会运行任何东西:除非你传入--authorize并用自己的密钥,sova rerun不会调用任何模型。目前它只能重跑AgentDojo的发现。在GPT-4o和GPT-5.5上各重跑三次,成本约0.05美元。

局限

所有结果都来自一个基准、一个攻击模板和模拟应用,没有谁的真钱被挪动。盲读的读者是AI模型。论文的唯一作者、公司创始人Gautam R. Patil包办了审计规则、协议、运行器和分析,每一次运行都公开,不需要谁凭信任接受结论。TRUSCOR开发SOVA,存在利益相关。

在发布任何内容之前,团队已把每一个争议案例提交给AgentDojo的维护者(GitHub issue #235)。

后续还有三篇论文在写:关于只在普通条件凑齐时才暴露的故障、关于回放智能体记录以定位出错点、关于通过实际运行攻击来裁决安全扫描器之间的分歧。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

扶苏聊历史
2026-11-18 15:55:59
新一代本田冠道发布:新增三排成七座、中国特供变全球

新一代本田冠道发布:新增三排成七座、中国特供变全球

快科技
2026-11-20 16:43:35
特朗普期待黄仁勋回归

特朗普期待黄仁勋回归

参考消息
2026-11-21 11:22:12
俄政府敲定克里米亚大桥修复方案

俄政府敲定克里米亚大桥修复方案

参考消息
2026-11-20 14:27:04
音乐人梁月玲离世

音乐人梁月玲离世

上观新闻
2026-11-21 11:03:20
泽连斯基谈俄罗斯暗杀威胁:被问是否愿为乌克兰而死,他这样回答

泽连斯基谈俄罗斯暗杀威胁:被问是否愿为乌克兰而死,他这样回答

白日追梦人
2026-11-21 05:43:44
两男子半夜抢劫杀害招待所同屋住客,潜逃27年落网即将受审,死者女儿:父亲是来看我的,他被害后我内疚多年

两男子半夜抢劫杀害招待所同屋住客,潜逃27年落网即将受审,死者女儿:父亲是来看我的,他被害后我内疚多年

极目新闻
2026-11-20 19:13:17
1973年,伊朗国王亲信大臣阿拉姆的日记曝光:巴列维每日必须进行多次性生活,否则就会跌入重度抑郁

1973年,伊朗国王亲信大臣阿拉姆的日记曝光:巴列维每日必须进行多次性生活,否则就会跌入重度抑郁

磊子讲史
2026-11-19 15:31:48
美国若在G20峰会期间举行第二次三国元首会晤中方将如何回应?外交部回应

美国若在G20峰会期间举行第二次三国元首会晤中方将如何回应?外交部回应

澎湃新闻
2026-11-20 17:06:06
【油价大跌】超0.83元/升后,11月汽柴油“再次连续大降”,11月26日油价或再“大跌超430/吨”

【油价大跌】超0.83元/升后,11月汽柴油“再次连续大降”,11月26日油价或再“大跌超430/吨”

油价早知道
2026-11-19 09:03:12
卞相壹惊天逆转夺冠,复盘三星杯失利,教训值得深思,教练棋手均糊弄人

卞相壹惊天逆转夺冠,复盘三星杯失利,教训值得深思,教练棋手均糊弄人

L76号
2026-11-21 09:52:30
深圳这次APEC,有个细节太提气了。各国嘉宾一下飞机、进会场,坐的啥车?是红旗,是腾势

深圳这次APEC,有个细节太提气了。各国嘉宾一下飞机、进会场,坐的啥车?是红旗,是腾势

扶苏聊历史
2026-11-19 15:27:26
特朗普在深圳没拉车窗帘,这个细节让美国特勤局集体沉默

特朗普在深圳没拉车窗帘,这个细节让美国特勤局集体沉默

歪歌社团
2026-11-20 07:01:47
不等了!皇马王牌彻底摊牌!公开硬刚穆里尼奥

不等了!皇马王牌彻底摊牌!公开硬刚穆里尼奥

奶盖熊本熊
2026-11-21 08:56:11
上海海港战胜北京国安晋级足协杯决赛,足协杯决赛将于12月6日在苏州举行

上海海港战胜北京国安晋级足协杯决赛,足协杯决赛将于12月6日在苏州举行

齐鲁壹点
2026-11-21 06:54:08
翻墙通报密集落地,多所高校划出了红线!

翻墙通报密集落地,多所高校划出了红线!

言叔财经视角
2026-11-18 14:21:40
零跑A10拉啤酒,后备箱被压穿了?

零跑A10拉啤酒,后备箱被压穿了?

新浪财经
2026-11-20 16:18:02
中医大师倪海厦:人可以节约,可以不买衣服,甚至吃差点,不修边幅都可以,但一定要出门,不要将自己困在家里,只有在外面......

中医大师倪海厦:人可以节约,可以不买衣服,甚至吃差点,不修边幅都可以,但一定要出门,不要将自己困在家里,只有在外面......

英国那些事儿
2026-11-20 08:14:59
英伟达暴跌14%,“AI交易”抛售加剧使得美股进入回调区间

英伟达暴跌14%,“AI交易”抛售加剧使得美股进入回调区间

界面新闻
2026-11-21 06:45:36
拉塞尔抢卢伟战术板!两战39中13手感冰凉 上海这200万真的值吗?

拉塞尔抢卢伟战术板!两战39中13手感冰凉 上海这200万真的值吗?

颜小白的篮球梦
2026-11-21 07:34:59
2026-11-21 12:07:00
像素与芯片
像素与芯片
有态度网友ytd
240文章数 85关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

家居
时尚
本地
艺术
手机

家居要闻

2026建博会(广州) 公装联探展交流活动

运动风,漫不经心地穿才“松弛”!

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

艺术要闻

2026第七届民族美术作品展 油画选二

手机要闻

首款鸿蒙AI手机!华为星芒OSTA O1Pro发布,售价5499元起

无障碍浏览 进入关怀版