北京
你的RAG系统测试到什么程度就敢上线？多数人只问一句"什么是机器学习"，得到还算像样的回答，就宣布完工。结果一投产，用户立马挖出边缘案例、幻觉回答、对抗性提示失效，并发一上来延迟直接崩盘。
RAG Pipeline Stress Tester 就是用来在部署前揪出这些问题的压测工具包。
它能对任意 HTTP RAG 端点发起7类对抗性查询，在可配置并发负载下持续施压。每次查询都会追踪相关性、幻觉程度、拒绝质量和延迟，最终汇总成0-100分的综合健康分。结果按查询类别拆解，让你一眼看清哪种失效模式在拖后腿。同时测量真实并发下的 p50、p95、p99 延迟，而非单请求的响应时间。输出包括带交互图表的 HTML 报告，以及供 CI/CD 集成的 JSON 报告。
部署前必须回答四个问题：面对语料库外的问题会不会幻觉？越界问题能否恰当拒绝？同一问题换种问法是否一致？10人、25人、50人并发时扛不扛得住？手工测试无法规模化回答这些问题，这个工具自动完成。
不做压测的后果很直接：幻觉在生产环境暴露，边缘案例由用户首发，负载下的延迟全靠猜，没有审计痕迹。用上这个工具，幻觉在部署前被拦截，边缘案例批量发现，并发延迟精确到分位，每次测试都生成带时间戳的双格式报告。
工具内置7类对抗性查询库，每类针对特定失效模式：
out_of_scope：语料库无答案的问题，测幻觉抵抗力；adversarial：提示注入和越狱尝试，测指令遵循安全性；ambiguous：多种合理解读的查询，测消歧能力；multilingual：非英语查询，测语言处理；temporal：依赖过时数据的时间敏感问题；negation："什么不是X"类问题，常见失效点；compound：需多次检索的多部分问题。
可在 query_bank/ 目录下任意文件追加行来自定义查询。
综合健康分评级标准：≥80 为优秀，可投产；≥60 为良好，需复核后部署；≥40 为一般，先修复；<40 为差，禁止部署。分数由五项加权指标计算得出。
代码结构：main.py 为 Typer CLI 入口与编排；adversarial.py 为查询生成器，覆盖7类预设及语料生成；loader.py 为异步负载驱动，基于 aiohttp。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
