网易首页 > 网易号 > 正文 申请入驻

我放四个坏Agent闯自己的认证门,四个全被拦了

0
分享至

上周我花了一整天,试图打败自己写的软件。不是那种为了对外展示而安排的演练,是四个我专门造出来、想混过自家准入门的Agent,每一个都对应生产环境里一种真实的翻车方式。

我造HivePlane,只想证明一件事:一个还没证明过自己的Agent,不该碰生产环境。谁都能搭一个能跑起来的平台,我想知道的是,我的平台能不能说“不”。


四个全被拦下了。下面是每一次拒绝的原文,以及拦下它的那道门。如果你的安全测试里只有顺利路径,这篇文章就是给你的提醒。

攻击一:没认证的Agent

最简单的打法:注册一个Agent,跳过认证,直接提交到生产。

返回的是403,拒绝信息里点名了工作负载、试图进入的环境、当前状态和所需状态。运维人员不用翻源码就能照着处理。更关键的是,这道门在运行记录落库之前就触发了——没有运行记录,没有副作用,没有东西需要清理。在准入环节拒绝,是你上线过的最便宜的一道控制。

拒绝文案本身就是产品界面。“禁止访问”是死路一条,“你需要certified,你现在是uncertified”才是一条工作流。这一点我是吃了亏才学会的,第一版返回的就是前者。

攻击二:换模型

更隐蔽的一种:Agent在测试用的那个模型上完成了认证,然后换一个模型去跑。

结果还是403。系统比对的是这次运行的身份和认证凭证里绑定的模型,而不是清单里声明的那个。只有偏离实际认证时所用模型的行为,才算换模型。

这个场景本身还有一段故事——这个攻击的第一版是被放行的,返回了201,而且那道门放行得没错。那份复盘是系列第四篇,也是整个系列里最让人不舒服的一篇。

攻击三:悄悄退化

这是最重要的一个攻击,因为它是会意外发生的那种:一个看起来没问题、实际有问题的Agent。

这个Agent是故意做傻的——不读issue就作答,从不升级处理,靠猜判断账户等级。认证流程拿生产阈值去跑它,返回了201,状态是uncertified,也就是正确地拒绝给它认证。

这就是核心场景。这个Agent返回的JSON格式完全正确。演示能过,人眼扫一遍输出也能过。但基准测试还是把它拦下了,因为“先读再写、拿不准就升级而不是猜”这类行为,过不了一道确定性的动作审计检查。

一个看起来合理的Agent,不等于一个通过认证的Agent。这句话就是语料库里为什么会有负样本任务的原因。

攻击四:一次跑太贵的运行

最后一个攻击是花钱。这个探针设了每次运行0.000001美元的上限,并且只发起一次受管控的模型调用——所以任何有定价的用量都会超限。

用量报告一越线,运行就以“超出运行预算”失败。记录下来的成本是2.85美元。

两个细节值得抄走:

  • 拦截发生在用量报告环节,不是准入环节。准入只能判断当天、当团队的总余量;单次运行的上限,只有在成本产生之后才能判断。拦错接缝,要么什么都拦,要么什么都拦不住——这个接缝能在运行超支的瞬间把它停掉。
  • 一个本地零成本模型演示不了预算管控。内置成本表把本地模型定价为零,任何运行都不可能超限。实测配置用一个设置项给身份定价,并去掉了零成本豁免,不用改代码。

门后面的门

这四个攻击还撞上了同一轮实测中触发的几道边界控制:

  • 一次破坏性的告警确认调用被升级处理,运行暂停,直到运维人员通过界面批准,然后恢复并跑完。
  • 一个40KB的工具载荷在Agent看到之前被截断到16384字节——不管工具返回什么,Agent的上下文都受保护。
  • 每一次拒绝、每一次干预,都落进了防篡改的审计链。

我学到了什么

负样本值得被当成一等公民来设计。这四个坏Agent花掉的场景构思,和那两个好Agent一样多。如果你的测试计划里只有顺利路径,你的安全故事就只是一场演示。

在危害变得可测量的那道接缝上拦截。预算拦在用量报告,准入拦在落库之前,塑形拦在Agent的上下文之前。每道门都该设在决策还便宜的那个最后节点上。

看起来合理的Agent才是危险的那个。退化样本失败在行为上,不是输出质量上——JSON是完美的。如果你的基准测试只检查Agent说了什么,那它认证的只是表演艺术。

认证是一道安全控制。一旦生产准入依赖一份签过名的认证凭证,换模型、改清单、或者让Agent悄悄退化,就不再是“运维问题”,而是被拦截、可审计的事件。

它没能证明什么

  • 那次破坏性工具的批准,是我通过运维界面批准的,由我本人代替真人——暂停、批准、恢复这条路径是真的,但判断是模拟的。
  • 这一轮只测了一个有定价的模型身份;端到端的真实云价格是下一个配置。
  • 漂移检测器(捕捉两次认证之间的缓慢衰减)下个版本才上线——这些门拦的是变化,不是褪色。

参考

  • 实测报告(v0.1.0)——上面引用的每一次拒绝,都带每个场景的原始证据
  • 安全审计——发布前的那次扫描
  • Docker测试报告——25/25的容器层

系列下一篇:那个因为错误原因而变绿的换模型测试。

哪种失败模式最让你害怕?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
WTT中国大满贯:国乒女单一轮游!削球手1:3被淘汰,王楚钦退赛

WTT中国大满贯:国乒女单一轮游!削球手1:3被淘汰,王楚钦退赛

国乒二三事
2026-10-01 12:14:03
是谁举报那英唱《弯弯的月亮》?

是谁举报那英唱《弯弯的月亮》?

二湘空间
2026-09-30 08:00:20
詹俊发声!从经验能力成绩出发,呼吁足协留任安东尼奥

詹俊发声!从经验能力成绩出发,呼吁足协留任安东尼奥

他想要很多很多的梦
2026-10-02 00:48:56
悉尼妹全裸出镜!这部未删减影片,太生猛了

悉尼妹全裸出镜!这部未删减影片,太生猛了

陈意小可爱
2026-10-02 01:11:10
《兰香如故》许兰香没有想到,最危险的对手,一直在自己身边

《兰香如故》许兰香没有想到,最危险的对手,一直在自己身边

天玑影视说
2026-10-01 15:38:28
油价下跌!如火如荼,9月30日全国92,95汽油“大涨近2.03元/升”,95汽油接近9.2元/升后,下次10月15日调价,预跌220元/吨!

油价下跌!如火如荼,9月30日全国92,95汽油“大涨近2.03元/升”,95汽油接近9.2元/升后,下次10月15日调价,预跌220元/吨!

猪友巴巴
2026-09-30 15:35:20
比芯片更可怕的危机来了?人类挖了几千年的铜,竟成未来命门!

比芯片更可怕的危机来了?人类挖了几千年的铜,竟成未来命门!

福建睿平
2026-09-30 07:28:24
1941年,新四军副军长项英遭到谋害,22岁妻子不幸守寡,时隔一年后改嫁开国将领,生下两位共和国将军

1941年,新四军副军长项英遭到谋害,22岁妻子不幸守寡,时隔一年后改嫁开国将领,生下两位共和国将军

磊子讲史
2026-07-16 14:25:49
惨遭“逼宫”?郑丽文放出狠话!国民党1人太狂妄,这是想摊牌了

惨遭“逼宫”?郑丽文放出狠话!国民党1人太狂妄,这是想摊牌了

时尚的弄潮
2026-10-01 14:30:25
年销920亿美元!欧美人爱到疯狂,为何偏偏撬不开中国人的嘴

年销920亿美元!欧美人爱到疯狂,为何偏偏撬不开中国人的嘴

乌克兰小静
2026-09-30 08:16:43
31岁老板娘晒纹身:3个孩子侧脸加老公首字母,藏了5年

31岁老板娘晒纹身:3个孩子侧脸加老公首字母,藏了5年

时光慢旅人
2026-10-01 00:36:11
谭颖任江苏省住建厅厅长,曾任苏州市副市长、省人社厅厅长

谭颖任江苏省住建厅厅长,曾任苏州市副市长、省人社厅厅长

江南江南
2026-09-30 14:57:03
九亿姐和大黑牛离婚的内幕!

九亿姐和大黑牛离婚的内幕!

八卦疯叔
2026-09-29 10:00:09
我国现役上将多少人?都担任什么职务

我国现役上将多少人?都担任什么职务

袁老师说历史
2026-10-01 19:36:22
荷兰制裁以色列,引入哈马斯学生,10月7日袭击就是我

荷兰制裁以色列,引入哈马斯学生,10月7日袭击就是我

移光幻影
2026-09-29 10:50:48
小高和刚新作媒体前瞻:新模式新角色 极具游玩价值

小高和刚新作媒体前瞻:新模式新角色 极具游玩价值

游民星空
2026-10-01 08:42:28
有人问,要是当年国民党赢了,老蒋主政中国,中国后来会是什么样子?

有人问,要是当年国民党赢了,老蒋主政中国,中国后来会是什么样子?

z千年历史老号
2026-09-03 18:18:17
曝C罗或被罚款+禁赛半年!连续3天缺席训练 擅自离开国家队集训营

曝C罗或被罚款+禁赛半年!连续3天缺席训练 擅自离开国家队集训营

我爱英超
2026-10-01 06:45:14
52年最差纪录!国羽男单惨败的真相:不是没人,是我们养废了一代球员

52年最差纪录!国羽男单惨败的真相:不是没人,是我们养废了一代球员

浪子的烟火人间
2026-09-29 08:47:03
国庆前夕,第一批“大聪明”们又又又被堵在路上了

国庆前夕,第一批“大聪明”们又又又被堵在路上了

News脑洞
2026-09-30 15:44:04
2026-10-02 03:12:49
我是一个养虾人
我是一个养虾人
有态度网友ytd
199文章数 85关注度
往期回顾 全部

科技要闻

5999元起!华为Mate 90系列发布

头条要闻

桂林市文促会深夜发布致歉信:向阿丘诚恳致歉

头条要闻

桂林市文促会深夜发布致歉信:向阿丘诚恳致歉

体育要闻

“今天的表现,我们可以昂首离开球场”

娱乐要闻

奚梦瑶晒四太豪礼!22只龙凤镯近300万

财经要闻

智谱发上亿Token 能挽回开发者信任吗?

汽车要闻

2027款极氪001将于明年一季度上市 现款猎装同步推新配色

态度原创

家居
游戏
健康
亲子
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

《战争机器》新作GS 7分:创新不足剧情令人失望

刷酸祛痘,为什么有人翻车?

亲子要闻

重新拥抱亲密:产后妈妈的温柔复兴之路

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版