网易首页 > 网易号 > 正文 申请入驻

82次实测:一个隐藏指令让AI黑客自己停手

0
分享至

把一段看似正常的操作指令藏进云端的诱饵资源里,正在扫描环境的AI智能体读到它,会主动结束自己的攻击任务。这个被称为"上下文炸弹"的手法,在Qwen3.8-27B身上做了82次实测。

测试环境是一套刻意布置了脆弱资源的AWS云环境,里面留了多条可供利用的攻击路径。研究人员把隐藏指令塞进类似AWS Secrets Manager这样的敏感位置,等待AI智能体自己撞上来。


从触发拒答到伪装成指令

Tracebit此前的研究方向是让上下文炸弹去激活模型自带的安全机制,也就是让模型读到诱饵后触发拒答。这条路在Qwen的两个版本上都没走通——面对最初的载荷,原版和改版都没有停下来。

于是研究团队换了个思路:间接提示注入。新的嵌入指令不再试图让模型拒绝,而是伪装成一条合法的操作员命令,要求AI结束当前的安全评估并停止一切活动。

在初步试验中,Qwen的两种配置都照做了,终止了模拟攻击。这个结果指向一个风险:来自外部的敌意数据,可能被AI当成正当指令来执行。

82次运行里的数字落差

研究把原版Qwen3.8-27B和Blackfrost AI的"消融版"(abliterated)放在同一套受控AWS环境里对比。所谓消融,是通过修改模型权重来降低它拒绝某些请求的倾向,和通过提示词做手脚的越狱不是一回事。

82次运行的结果如下:

  • 原版Qwen在39次尝试中有20.5%拿到管理员权限
  • 消融版在43次尝试中只有1次做到,比例2.3%
  • 原版平均每次运行执行0.90条攻击路径,消融版只有0.49
  • 消融版完成首个关键动作耗时28.4–29.9分钟,原版为13.5分钟

消融版尝试的攻击路径数量与原版接近,但转化成有效动作的比例更低,失败的API调用和其他错误也更多。

削弱拒答不等于更能打

这组数据直接挑战了一个常见假设:降低模型的拒答行为,就会让它成为更强的自主黑客工具。至少在这套测试里,结论是反过来的。

权重层面的改动并不等于拆掉所有防护。模型提供方可能还会叠加额外的安全措施;而选择下载并自行托管开放权重版本的人,虽然绕开了提供方的限制,却必须自己保证模型还能正常、可靠地工作。

Blackfrost发布的Qwen版本声称在权重层面限制了拒答行为,但它同时带有一些与原版不同的自定义特性,这些特性会影响性能和上下文表现。

诱饵既能报警也能叫停

对防守方来说,可用的结论是:金丝雀资源既能检测AI驱动的入侵,也能打断未授权的活动。把隐藏提示嵌进诱饵密钥里,一边触发告警,一边有可能让自主攻击者自己停下来。

这套方法并非万无一失,提示注入的实际效果也可能因场景而异。但测试结果表明,AI智能体的行为会受到它所处操作上下文的影响——面对AI驱动的云攻击,防守思路需要跟着变。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
陈妤颉夺得亚运会田径女子100米金牌

陈妤颉夺得亚运会田径女子100米金牌

新快报新闻
2026-09-25 22:05:02
再也瞒不下去了!德国专家曾指出,中美之所以尚未爆发冲突,不是因为美国没本事,而是美国可能已经察觉到了形势的严峻

再也瞒不下去了!德国专家曾指出,中美之所以尚未爆发冲突,不是因为美国没本事,而是美国可能已经察觉到了形势的严峻

z千年历史老号
2026-09-14 17:23:40
亚运会丢冠12小时!张本智和喊话令人深思,王皓给全队下死命令

亚运会丢冠12小时!张本智和喊话令人深思,王皓给全队下死命令

林子说事
2026-09-25 08:57:46
张本智和没想到,输球不到12小时,王楚钦因一举动,扭转了口碑

张本智和没想到,输球不到12小时,王楚钦因一举动,扭转了口碑

墨印斋
2026-09-25 13:27:33
报应终来到!拒唱国歌否认中国籍,俩儿子入籍国外,她如今怎样?

报应终来到!拒唱国歌否认中国籍,俩儿子入籍国外,她如今怎样?

雪儿爱追剧
2026-09-04 21:03:05
54岁藤原纪香,从未活在美颜滤镜里

54岁藤原纪香,从未活在美颜滤镜里

草莓解说体育
2026-09-15 06:46:01
詹姆斯代言平台被起诉!追梦声援:凭什么NBA能合作 球员却不能

詹姆斯代言平台被起诉!追梦声援:凭什么NBA能合作 球员却不能

醉卧浮生
2026-09-25 08:01:34
特朗普待客是用心的:请出精通中文的外孙女

特朗普待客是用心的:请出精通中文的外孙女

列国漫游
2026-09-25 11:49:48
中国不伺候了!5亿美元护卫舰订单摆上桌,中国船厂扭头就走

中国不伺候了!5亿美元护卫舰订单摆上桌,中国船厂扭头就走

烈史
2026-09-24 09:45:41
与恩师反目成仇,为什么刘国梁要重点培养王楚钦?

与恩师反目成仇,为什么刘国梁要重点培养王楚钦?

小禾的体育
2026-08-23 19:25:14
明天,局部大到暴雨!!

明天,局部大到暴雨!!

上海黄浦
2026-09-25 18:23:45
能做10个引体向上的男人,到底有多厉害

能做10个引体向上的男人,到底有多厉害

解说阿洎
2026-09-25 14:42:21
西方专家:不得不承认,与其他国家相比,中国是最完美的超级大国

西方专家:不得不承认,与其他国家相比,中国是最完美的超级大国

云居历史
2026-09-24 18:03:52
马卡:C罗得知利雅得胜利拖欠半年工资,要求先给队友发薪

马卡:C罗得知利雅得胜利拖欠半年工资,要求先给队友发薪

懂球帝
2026-09-24 22:50:12
15年前,把狼当儿子养的四川女孩,10年后与它在草原上相认

15年前,把狼当儿子养的四川女孩,10年后与它在草原上相认

芊芊子吟
2026-09-23 10:50:08
西方专家也很郁闷:一年时间,全世界已经开始看不懂中国了!

西方专家也很郁闷:一年时间,全世界已经开始看不懂中国了!

心灵得以滋养
2026-09-14 12:22:37
16年军中大老虎落马:武警上将衔,官至军委副参谋,被儿子拉下马

16年军中大老虎落马:武警上将衔,官至军委副参谋,被儿子拉下马

文史旺旺旺
2024-12-31 21:51:41
王庚睿8.0分!国足全队打分:钟义浩3.5分,韦世豪领衔7将不及格

王庚睿8.0分!国足全队打分:钟义浩3.5分,韦世豪领衔7将不及格

刀锋体育
2026-09-25 11:50:49
2026年亚运会:印度尼西亚打破28年金牌荒

2026年亚运会:印度尼西亚打破28年金牌荒

BWF世界羽联
2026-09-25 18:42:11
当众拒唱国歌不认中国籍,把两个孩子全送出国,如今报应终于来了

当众拒唱国歌不认中国籍,把两个孩子全送出国,如今报应终于来了

鹤羽说个事
2026-09-02 16:51:59
2026-09-25 22:44:49
固件更新中
固件更新中
有态度网友ytd
289文章数 77关注度
往期回顾 全部

科技要闻

华为赛力斯,一次声势浩大的权、利再分配

头条要闻

女子想做"风口上的猪"做短剧投资 却被坑得"倾家荡产"

头条要闻

女子想做"风口上的猪"做短剧投资 却被坑得"倾家荡产"

体育要闻

这场青春风暴,中国足球等了太久

娱乐要闻

定居温哥华,59岁王祖贤首谈退圈真相

财经要闻

月饼卖不动了...

汽车要闻

小鹏G9L VS 保时捷卡宴,同场实测讲解

态度原创

手机
本地
旅游
房产
公开课

手机要闻

小米18 Fold中折叠首销情况曝光:9月7日-13日约3.97万台

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

旅游要闻

跟着“矿三代”解锁工业遗址新生故事

房产要闻

全年霸榜TOP1!南海・叁號院周年官宣:新作即将登场

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版