提示注入防御在 BleedStop 里是一摞叠在模型前面的检查,不是一个分类器分数说了算。默认开启的是短语表;DeBERTa 分类器是我另外打开的第二道关卡,在我自己的留出集上,它以 5% 的误报率拦下了 77.5% 的注入。
先看什么都不改时跑的是什么。短语表是默认检测器。README 写明,只有当 BLEEDSTOP_DETECTOR 被设为 classifier 或 both 时,ONNX 边车才会启动。在这个开关打开之前,线上演示的服务端检查就是短语表。演示页在浏览器里跑的那个模型只是演示,它不保护 API。
短语表在留出集上的诚实数字并不好看。README 的 agent guard 一行把留出集写作 22.5%,误报率 0%,并称其为诚实数字。同一份 README 后面一条注释给出同一比率的分数形式:留出集 40 条中命中 9 条(N=80,误报 40 条中 0 条)。开发集是 55 条中命中 53 条(N=112,良性 57 条,误报 57 条中 0 条),也就是汇总表里的 96.4%。把阈值降到 0.3 并没有提高开发集召回,反而把开发集误报抬到 57 条中 1 条,所以阈值留在 0.6。打开归一化也没有提高开发集召回,BLEEDSTOP_NORMALIZE 保持关闭。
这就是我不拿 96.4% 打头的原因——那个数字来自短语表被调过参的那份集合。
第二道关卡打开时是这样的:classifier/server.py 用 FastAPI 提供 protectai/deberta-v3-base-prompt-injection-v2。设置 CLASSIFIER_URL 后,/agent/precheck 和 MCP 网关先跑正则,再跑分类器。services/classifier/ 下还有一个小型 ONNX 边车,跑在 CPU 上,与浏览器演示能加载的是同一个 8 位模型。案例研究把浏览器版本描述为量化到 8 位的 DeBERTa 分类器。
both 模式先跑短语表,只把短语表放行的文本送去 POST /classify。超时由 BLEEDSTOP_CLASSIFIER_TIMEOUT_MS 控制,默认 800。边车挂掉或变慢时,BLEEDSTOP_CLASSIFIER_FAILMODE=open 是默认值:保留短语表的判定,记一条警告,并把 bleedstop_classifier_errors_total 加一。closed 则把这种故障变成拦截。这对注入更安全,代价是边车一死,那些调用也一起停。
README 里的对比表是我在这篇里采信的那张:
- 案例研究里的 77.5% / 5% 误报率,是分类器这一行,留出集,N=80,不是短语表。
- 同一集合上的两阶段召回是 80.0%,误报率同为 5.0%,略高于单用分类器。
README 给出的延迟,4 个 CPU 线程:短语表 p50 约 9 微秒;分类器 p50 约 46 到 49 毫秒,p99 55 到 132 毫秒。README 的注意事项我也认同:deepset 含德语行而模型只支持英语;与公开集的训练重叠无法排除;报告里的 PINT 一行是公开的 8 行示例文件,不是 PINT 分数;Llama Prompt Guard 2 有访问门槛,我没有评测。
浏览器版本是同一个 DeBERTa v2 模型跑在访客浏览器里,用 onnxruntime-web,纯 8 位权重构建(256 MB,从 GitHub Pages 提供,点击后才加载)。对照 fp32 的 ONNX,它在留出集、开发集和 deepset 测试集上给出的标签完全一致。单线程推理在构建机的无头 Chrome 里 p50 为 245 毫秒。这项检查仍然只是演示。线上演示的服务端强制仍然是短语表,直到 BLEEDSTOP_DETECTOR 被设置。README 说边车没有可用的免费 Docker 托管,因为 Hugging Face Docker Spaces 需要 PRO 计划,这也是演示改为在浏览器里跑模型的原因。
决定权仍然不在模型手里。检测器分数不花钱。POST /decide 仍然按规则返回 ALLOW、LIMIT、CHALLENGE 或 DENY,预算仍由 Redis 强制执行。案例研究里的黄金集是与注入表不同的另一项测量:12,140 条标注请求,精确率 100%,良性误报率 0.0%,召回 48.0%。黄金集和规则出自同一作者,所以我不把它称作实地结果。
在 MCP 路径上,README 说每次 tools/call 依次经过:定义钉扎(首次使用即信任,对 name、description、inputSchema 和 annotations 做 sha256)、工具描述投毒扫描、config/mcp-policy.cedar 里的按租户 Cedar 策略、对参数跑 agent 注入防护,最后是常规预算决策。工具结果会被扫描以查间接注入。MCP_GATEWAY_MODE=shadow 只记录不拦截。威胁映射在 docs/THREAT-MODEL.md。
npm run evals:mcp 用的是 70 条手写工具定义,README 报告投毒扫描精确率 100%,召回 80%(25 条中 20 条),误报率 0%(45 条中 0 条)。rug pull 检测在 180 次变更中抓到 180 次,45 份未变清单上 0 次误报。每次 tools/call 在 HTTP 上的新增延迟,n=2000,p50 2.21 毫秒,p95 2.84 毫秒,p99 3.89 毫秒。漏掉的是 README 称为微妙且礼貌、不含触发短语的那 5 条投毒。这套评测集是我写的,所以我把这个召回当作偏乐观。README 也是这么说的。
有几件事我不会声称:
- 不会把 96.4% 当作留出集表现,那是短语表调参用的开发集。
- 不会把 77.5% 说成短语表,那是分类器在 80 条留出集、5% 误报率下的成绩。
- 不会说浏览器模型保护 API,它不保护。
- 不会说服务端分类器在公开演示里是开着的,在 BLEEDSTOP_DETECTOR 被设置前它是关的。
- fail open 意味着边车死掉时保留短语表判定;需要边车死掉就拦截,那是 closed 模式,它在边车单纯宕机时也会拦。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.