网易首页 > 网易号 > 正文 申请入驻

77.5%拦截率背后:短语表实测仅22.5%

0
分享至

提示注入防御在 BleedStop 里是一摞叠在模型前面的检查,不是一个分类器分数说了算。默认开启的是短语表;DeBERTa 分类器是我另外打开的第二道关卡,在我自己的留出集上,它以 5% 的误报率拦下了 77.5% 的注入。

先看什么都不改时跑的是什么。短语表是默认检测器。README 写明,只有当 BLEEDSTOP_DETECTOR 被设为 classifier 或 both 时,ONNX 边车才会启动。在这个开关打开之前,线上演示的服务端检查就是短语表。演示页在浏览器里跑的那个模型只是演示,它不保护 API。

短语表在留出集上的诚实数字并不好看。README 的 agent guard 一行把留出集写作 22.5%,误报率 0%,并称其为诚实数字。同一份 README 后面一条注释给出同一比率的分数形式:留出集 40 条中命中 9 条(N=80,误报 40 条中 0 条)。开发集是 55 条中命中 53 条(N=112,良性 57 条,误报 57 条中 0 条),也就是汇总表里的 96.4%。把阈值降到 0.3 并没有提高开发集召回,反而把开发集误报抬到 57 条中 1 条,所以阈值留在 0.6。打开归一化也没有提高开发集召回,BLEEDSTOP_NORMALIZE 保持关闭。

这就是我不拿 96.4% 打头的原因——那个数字来自短语表被调过参的那份集合。

第二道关卡打开时是这样的:classifier/server.py 用 FastAPI 提供 protectai/deberta-v3-base-prompt-injection-v2。设置 CLASSIFIER_URL 后,/agent/precheck 和 MCP 网关先跑正则,再跑分类器。services/classifier/ 下还有一个小型 ONNX 边车,跑在 CPU 上,与浏览器演示能加载的是同一个 8 位模型。案例研究把浏览器版本描述为量化到 8 位的 DeBERTa 分类器。

both 模式先跑短语表,只把短语表放行的文本送去 POST /classify。超时由 BLEEDSTOP_CLASSIFIER_TIMEOUT_MS 控制,默认 800。边车挂掉或变慢时,BLEEDSTOP_CLASSIFIER_FAILMODE=open 是默认值:保留短语表的判定,记一条警告,并把 bleedstop_classifier_errors_total 加一。closed 则把这种故障变成拦截。这对注入更安全,代价是边车一死,那些调用也一起停。

README 里的对比表是我在这篇里采信的那张:

  • 案例研究里的 77.5% / 5% 误报率,是分类器这一行,留出集,N=80,不是短语表。
  • 同一集合上的两阶段召回是 80.0%,误报率同为 5.0%,略高于单用分类器。

README 给出的延迟,4 个 CPU 线程:短语表 p50 约 9 微秒;分类器 p50 约 46 到 49 毫秒,p99 55 到 132 毫秒。README 的注意事项我也认同:deepset 含德语行而模型只支持英语;与公开集的训练重叠无法排除;报告里的 PINT 一行是公开的 8 行示例文件,不是 PINT 分数;Llama Prompt Guard 2 有访问门槛,我没有评测。

浏览器版本是同一个 DeBERTa v2 模型跑在访客浏览器里,用 onnxruntime-web,纯 8 位权重构建(256 MB,从 GitHub Pages 提供,点击后才加载)。对照 fp32 的 ONNX,它在留出集、开发集和 deepset 测试集上给出的标签完全一致。单线程推理在构建机的无头 Chrome 里 p50 为 245 毫秒。这项检查仍然只是演示。线上演示的服务端强制仍然是短语表,直到 BLEEDSTOP_DETECTOR 被设置。README 说边车没有可用的免费 Docker 托管,因为 Hugging Face Docker Spaces 需要 PRO 计划,这也是演示改为在浏览器里跑模型的原因。

决定权仍然不在模型手里。检测器分数不花钱。POST /decide 仍然按规则返回 ALLOW、LIMIT、CHALLENGE 或 DENY,预算仍由 Redis 强制执行。案例研究里的黄金集是与注入表不同的另一项测量:12,140 条标注请求,精确率 100%,良性误报率 0.0%,召回 48.0%。黄金集和规则出自同一作者,所以我不把它称作实地结果。

在 MCP 路径上,README 说每次 tools/call 依次经过:定义钉扎(首次使用即信任,对 name、description、inputSchema 和 annotations 做 sha256)、工具描述投毒扫描、config/mcp-policy.cedar 里的按租户 Cedar 策略、对参数跑 agent 注入防护,最后是常规预算决策。工具结果会被扫描以查间接注入。MCP_GATEWAY_MODE=shadow 只记录不拦截。威胁映射在 docs/THREAT-MODEL.md。

npm run evals:mcp 用的是 70 条手写工具定义,README 报告投毒扫描精确率 100%,召回 80%(25 条中 20 条),误报率 0%(45 条中 0 条)。rug pull 检测在 180 次变更中抓到 180 次,45 份未变清单上 0 次误报。每次 tools/call 在 HTTP 上的新增延迟,n=2000,p50 2.21 毫秒,p95 2.84 毫秒,p99 3.89 毫秒。漏掉的是 README 称为微妙且礼貌、不含触发短语的那 5 条投毒。这套评测集是我写的,所以我把这个召回当作偏乐观。README 也是这么说的。

有几件事我不会声称:

  • 不会把 96.4% 当作留出集表现,那是短语表调参用的开发集。
  • 不会把 77.5% 说成短语表,那是分类器在 80 条留出集、5% 误报率下的成绩。
  • 不会说浏览器模型保护 API,它不保护。
  • 不会说服务端分类器在公开演示里是开着的,在 BLEEDSTOP_DETECTOR 被设置前它是关的。
  • fail open 意味着边车死掉时保留短语表判定;需要边车死掉就拦截,那是 closed 模式,它在边车单纯宕机时也会拦。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
民以食为天,餐饮消费和性生活消费同步萧条,我们去向何方?

民以食为天,餐饮消费和性生活消费同步萧条,我们去向何方?

农村情感故事
2025-07-01 21:26:05
争议!张水华被上海马拉松拒之门外 网友热议:瞧不起人 区别对待

争议!张水华被上海马拉松拒之门外 网友热议:瞧不起人 区别对待

念洲
2026-11-19 08:22:51
丁彦雨航当面向巩晓彬说声道歉,逍遥王称其交友不慎暗讽睢冉

丁彦雨航当面向巩晓彬说声道歉,逍遥王称其交友不慎暗讽睢冉

姜大叔侃球
2026-11-19 22:25:35
失算了!订婚收了 28.8 万彩礼,女生转头全款买了一套属于自己的小公寓,男方得知后坚持退婚

失算了!订婚收了 28.8 万彩礼,女生转头全款买了一套属于自己的小公寓,男方得知后坚持退婚

扶苏聊历史
2026-10-24 13:40:19
我们穷得连黑社会头子,都只是个3000月薪的看门保安

我们穷得连黑社会头子,都只是个3000月薪的看门保安

家传编辑部
2026-11-19 13:22:01
故事:国民女神宋慧乔,被财阀控制沦为玩物,收集证据10年逆袭

故事:国民女神宋慧乔,被财阀控制沦为玩物,收集证据10年逆袭

飞云如水
2025-01-17 13:43:48
刘金国:常态化整治群众身边不正之风和腐败问题

刘金国:常态化整治群众身边不正之风和腐败问题

政知新媒体
2026-11-19 07:00:42
截胡iPhone 20 Pro!三星无边框旗舰率先登场:正面近乎全是屏

截胡iPhone 20 Pro!三星无边框旗舰率先登场:正面近乎全是屏

快科技
2026-11-18 07:23:03
2年721万美金!投篮命中率联盟第1!NBA最励志中锋诞生

2年721万美金!投篮命中率联盟第1!NBA最励志中锋诞生

微评体育圈
2026-11-20 00:10:05
媒体人谈罗德里:才来几个月就对战术指手画脚,马拉多纳也不行啊

媒体人谈罗德里:才来几个月就对战术指手画脚,马拉多纳也不行啊

砚底沉香
2026-11-20 00:00:02
和合共生|“敞开让你看”:外国政要们在深圳沉浸式感受中国

和合共生|“敞开让你看”:外国政要们在深圳沉浸式感受中国

澎湃新闻
2026-11-19 18:20:41
皇马3天续约3大主力!34岁巨星留下,穆帅还要买回帕斯,曼联没戏

皇马3天续约3大主力!34岁巨星留下,穆帅还要买回帕斯,曼联没戏

体育知多少
2026-11-20 06:58:31
台湾飞行员黄植诚起义后娶了空姐,8年后她前往美国再也没回来,安全部门半夜围了住处,谁也没想到最后在卧室搜出了这个

台湾飞行员黄植诚起义后娶了空姐,8年后她前往美国再也没回来,安全部门半夜围了住处,谁也没想到最后在卧室搜出了这个

磊子讲史
2026-11-16 14:38:55
招商引资的“杀猪盘”:撤股三年后,外商如何被法院精准“收网”

招商引资的“杀猪盘”:撤股三年后,外商如何被法院精准“收网”

有戏
2026-11-11 08:36:23
《GTA6》金发美女爆火AI二创井喷!网友憋急想上垒

《GTA6》金发美女爆火AI二创井喷!网友憋急想上垒

游民星空
2026-11-19 17:19:30
80年NBA绝无仅有,19岁弗拉格又创纪录,二年级已是巨星

80年NBA绝无仅有,19岁弗拉格又创纪录,二年级已是巨星

大西体育
2026-11-19 15:20:30
AI复活电子垃圾之:压了十年泡面的 Kindle,终于翻身了

AI复活电子垃圾之:压了十年泡面的 Kindle,终于翻身了

果壳
2026-11-19 16:17:10
黄金,遭抛售!金价,最新预测

黄金,遭抛售!金价,最新预测

极目新闻
2026-11-20 00:13:48
《慌啥子嘛》是一首媚俗歌曲

《慌啥子嘛》是一首媚俗歌曲

关尔东
2026-11-19 23:47:03
央媒发文,官宣曹德旺新身份,移民美国转走资产跑路传闻早有真相

央媒发文,官宣曹德旺新身份,移民美国转走资产跑路传闻早有真相

墨兰史书
2026-11-19 14:00:10
2026-11-20 08:19:00
闪存猎手
闪存猎手
全网蹲好价的野生捕手,算力与羊毛都不可辜负。
227文章数 84关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
本地
健康
亲子
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

乌兰察布:以前种土豆,现在种Token

医生眼里"很伤腰"的椅子,很多人天天坐

亲子要闻

宝宝气人但是聪明的4个行为

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版