网易首页 > 网易号 > 正文 申请入驻

同样是200响应,路由改动可能已经偷偷多打了一次上游

0
分享至

一个LLM路由器的最终响应码是200,但它做决策的过程可能已经完全不同:换了部署、加了一次重试、跨了供应商边界、消耗了一次回退,甚至在后续失败前就已经开启了流式输出。只比状态码,这些回归一个都抓不到。


差分测试的做法是:把同一个用例分别打到参考路由器和候选路由器上,把两边可观测的结果做归一化,再比较那些必须保持稳定的行为。它特别适合重写、版本升级、配置迁移或策略重构——也就是那些目标写着“改实现、不改调用方契约”的改动。LiteLLM在2026年11月11日关于把路由迁到Rust核心的记录里就用了这套方法:每一个声称保持行为的步骤都配一个差分测试,而且比较的范围不止是选中的部署。

先定义什么叫“行为相同”

新旧路由器不需要内部数据结构一致,也不需要日志文本一致,它们需要在应用和运维依赖的那些维度上给出等价结果。这件事应该先落成一张契约表,再谈跑流量。

延迟和成本不要放进等价判定里,除非实验已经控制了供应商、模型、缓存、并发、地域和定价。差分契约测试不会自动变成性能基准。

四件套:世界、用例、通道、判定器

  • 世界:起始配置和依赖——部署、别名、健康状态、冷却、Redis行、凭据、模拟上游行为。
  • 用例:一段有序的客户端请求与上游响应序列。
  • 通道:观测行为的位置——客户端响应、网关访问日志、上游抓包、数据库或Redis状态、用量账本。
  • 判定器:决定归一化后的参考结果与候选结果是否等价的规则。

这套词汇能防一个常见错误:只比最容易采集的那个通道。如果最终客户端响应一致,但候选路由器发了三次上游尝试而不是一次,调用方通道过了,尝试通道和成本通道已经挂了。

比较的两边都要钉死

收集结果之前,先记录确切产物:参考网关的镜像、标签或提交;候选网关的镜像、标签或提交;配置与密钥的修订哈希;测试框架的提交;模拟上游的版本与场景文件;数据库与缓存的种子;客户端协议与流式模式。

对AISIX还要记录别名是直连模型、多目标模型还是语义路由,部署是独立还是托管。参考环境和候选环境都要钉到明确的发布版本或构建标识上,因为重试、回退、会话亲和和遥测行为都可能随版本变化。别拿“旧生产”去比“今天的主干”——输入没钉死的差异不可复现。

最小用例矩阵要覆盖分支点

不是列一串成功提示词就完事,要覆盖那些能改变决策的分支点。每一条自定义策略都要有对应用例:地域标签、团队覆盖、按价格排序、粘性分配、语义路由、供应商专属请求头、会话状态。

AISIX文档里写明了流式重试的边界,这些应该拆成独立用例,而不是塞进一行笼统的“流式”。按当前路由文档,流式请求可以在响应字节提交之前切到另一个目标,但流一旦开始就不再故障转移。具体端点和你跑的版本要自己核实。

先归一化,再比较

原始观测里全是噪声:请求ID、时间戳、生成的响应ID、主机端口、日志顺序、浮点耗时。只剥掉契约声明为无关的字段。

要保留那些能暴露语义变化的值:选中的目标和尝试顺序、状态码与结构化错误码、流式终止结果、上游的方法路径模型工具字段和关键请求头、策略决策与已认证调用方范围、冷却与花费或会话状态的变化。

不要因为某个差异让测试挂了就把它归一化掉。如果某个生成ID确实无关,这条规则要在看候选结果之前就写下来。

跑一个小而可审计的比较器

比较器读取两次测试运行产出的归一化JSON Lines,每行必须带稳定的case_id,默认不忽略任何字段,只有已经归类为噪声的字段才通过--ignore传入。它先做自检:参考跑两次,如果两个相同构建互相不一致,说明用例不确定或归一化不完整。

常见噪声源包括:没有固定种子的加权或随机选择、被其他用例污染的共享冷却或限流状态、无序的异步日志、真实供应商响应、挂钟TTL与退避、客户端SDK而非网关执行的重试。对策是隔离状态、确定性模拟上游、固定时钟或有界时间断言、重试只留一个负责人。如果随机性本身就是契约,那就另做统计测试比分布,别硬逼单次请求对齐。

示例里,参考结果中primary-503-fallback这条用例的尝试序列是["primary","backup"];候选结果变成了["primary","primary","backup"]。最终状态码和目标都一样,比较器仍然退出1,并报出多出来的那次primary尝试。把候选修正回合法序列后,退出0,打印PASS。

多通道采集,别混在一起

每个用例都在它最有权威性的位置取证:客户端看最终HTTP状态、响应头、响应结构、流帧和终止错误;网关看已认证调用方、解析后的别名、选中的路由、回退原因、实际服务目标和策略决策;上游夹具看收到的每个请求、到达顺序、请求体、关键请求头和预设响应;状态存储看冷却、会话钉住、限流计数;用量账本看请求与尝试的记账,但要先定义一行代表什么。

在AISIX 1.10.0里,x-aisix-served-by是需要proxy.expose_debug_headers: true的调试头,默认关闭且启动时读取;即便打开,也只出现在符合条件的成功/v1/chat/completions路由响应上,不是通用响应字段。可以用x-aisix-request-id去关联访问日志里的served_by_model,或者直接用模拟上游抓包作为默认的服务目标判定依据。

把等价和有意变更分开

一次升级里可能既有保持行为的改动,也有刻意的产品变更。给每个用例打标签:must_match,任何差异都是回归;expected_change,参考与候选应当按预先声明的方式不同;informational,记录结果但暂不卡发布。

对预期变更要写方向性判定。如果候选本来就不该再重试认证错误,测试应该要求恰好一次401尝试且不发生回退,而不是“允许任何差异”。旧实现只在它仍代表期望契约时才有资格当参考——差分测试可以完美地保留一个已有bug,所以等价性要和规格测试配对使用。

用有边界的影子流量收尾

确定性用例通过后,把一份获准的、脱敏的代表性请求形态样本,在非服务路径上回放到候选路由器。没有明确授权和控制,不要复制敏感提示词或带副作用的工具调用。比较归一化后的路由决策和上游请求形态,在弄清不匹配类别之前,别让候选响应碰到用户。影子运行只是关于采样负载的证据,不是覆盖所有生产边界的证明。

切换路由器或配置之前,验收清单要求:参考与候选版本已钉死;行为契约写明调用方、尝试、流式、策略和副作用维度;每条重试与回退分支都有确定性用例;流式测试区分首字节前与交付后失败;未授权和畸形请求证明没有发生上游派发;参考对参考的自检稳定;预期变更使用方向性断言;不匹配项有负责人和处理结论;没有把结果包装成成本、延迟或质量基准,除非另跑了那套方法;回滚能同时恢复路由器实现和兼容的状态与配置。

差分测试的价值在于让“保持行为”这句话变得可证伪。对LLM网关来说,可观测行为远不止最终响应:目标选择、尝试次数、策略、流式终止状态和副作用,全都是契约的一部分。在重写、升级或配置迁移进入生产之前,先把它们显式抓下来。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
丁彦雨航当面向巩晓彬说声道歉,逍遥王称其交友不慎暗讽睢冉

丁彦雨航当面向巩晓彬说声道歉,逍遥王称其交友不慎暗讽睢冉

姜大叔侃球
2026-11-19 22:25:35
手握人民币的国人请注意:咱们的货币,或正被全球资本重新定价

手握人民币的国人请注意:咱们的货币,或正被全球资本重新定价

混沌录
2026-11-19 18:35:05
41岁詹姆斯一战创多项纪录:一数据全联盟第一+率队创42年来最佳

41岁詹姆斯一战创多项纪录:一数据全联盟第一+率队创42年来最佳

Emily说个球
2026-11-19 11:08:21
克宫打算继续将战争持续到冬季,特朗普特使警告这是俄罗斯最后的机会

克宫打算继续将战争持续到冬季,特朗普特使警告这是俄罗斯最后的机会

山河路口
2026-11-19 13:18:45
清朝对中国领土的贡献不可磨灭!没有清朝完成一统,后果不堪设想

清朝对中国领土的贡献不可磨灭!没有清朝完成一统,后果不堪设想

文史道
2024-11-25 06:45:02
39岁北京大腕郝泊言离世,生前热爱健身,这次给所有人提了个醒

39岁北京大腕郝泊言离世,生前热爱健身,这次给所有人提了个醒

阅尽天下大事
2026-11-20 01:02:45
乌克兰于11月19日凌晨再次袭击克里米亚大桥

乌克兰于11月19日凌晨再次袭击克里米亚大桥

山河路口
2026-11-19 09:20:41
凌晨3:00,美联储全面宣战!50基点加息重回视野

凌晨3:00,美联储全面宣战!50基点加息重回视野

魏家东
2026-11-19 17:23:35
笑不活!老外买的中国纪念品,不理解但尊重

笑不活!老外买的中国纪念品,不理解但尊重

另子维爱读史
2026-10-19 21:05:28
曾作为赖昌星送出“礼物”并为海关关长生子的她,案发后赴美隐姓埋名,如今59岁、其29岁儿子却连婚都不敢结,这背后留下怎样的追问?

曾作为赖昌星送出“礼物”并为海关关长生子的她,案发后赴美隐姓埋名,如今59岁、其29岁儿子却连婚都不敢结,这背后留下怎样的追问?

人生录
2026-11-19 08:08:31
APEC晚宴菜单曝光,看看都吃了啥

APEC晚宴菜单曝光,看看都吃了啥

极目新闻
2026-11-19 10:23:08
赵本山的小女儿球球直播时承认父亲公司的那些知名艺人,她和哥哥管不了,也没那个能力管

赵本山的小女儿球球直播时承认父亲公司的那些知名艺人,她和哥哥管不了,也没那个能力管

一盅情怀
2026-11-16 16:02:42
21岁瘫痪时,霍金仍坚持迎娶爱人,婚后却先后育有3个子女;众人困惑孩子怎样出生,他亲自作出这样的科学答复

21岁瘫痪时,霍金仍坚持迎娶爱人,婚后却先后育有3个子女;众人困惑孩子怎样出生,他亲自作出这样的科学答复

LULU生活家
2026-11-19 16:59:58
何家劲痛骂移民老友:卖光香港家当去加拿大,如今哭说回不来,图啥

何家劲痛骂移民老友:卖光香港家当去加拿大,如今哭说回不来,图啥

头号电影院
2026-11-19 16:31:11
欧媒不明白:中国拿下85%造船订单,为何心脏发动机也要自己造

欧媒不明白:中国拿下85%造船订单,为何心脏发动机也要自己造

兴趣知识
2026-11-20 00:53:41
火箭小将终爆发!三分7中6成球队最大功臣 能否彻底找回手感?

火箭小将终爆发!三分7中6成球队最大功臣 能否彻底找回手感?

惊奇侃球
2026-11-19 23:54:50
多地接连辟谣:“建材市场3C大检查”为不实信息

多地接连辟谣:“建材市场3C大检查”为不实信息

澎湃新闻
2026-11-18 21:09:02
脚踝骨折,确认报销!开拓者再遭重创,西部夺冠格局再起悬念

脚踝骨折,确认报销!开拓者再遭重创,西部夺冠格局再起悬念

暮色史观
2026-11-19 10:24:15
争议!中国女排队员:国外没有瘦肉精 网友:中国食品安全不容抹黑

争议!中国女排队员:国外没有瘦肉精 网友:中国食品安全不容抹黑

念洲
2026-11-19 08:21:57
英男不满被推销电话狂轰 将号码改成付费专线 每分钟爽赚7便士

英男不满被推销电话狂轰 将号码改成付费专线 每分钟爽赚7便士

环球趣闻分享
2026-11-18 14:57:47
2026-11-20 03:12:49
Ping值焦虑
Ping值焦虑
有态度网友ytd
261文章数 113关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
健康
艺术
家居
时尚

PC Gamer试玩GTA6百小时:双主角出色但任务重复

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

家居要闻

2026建博会(广州) 公装联探展交流活动

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

无障碍浏览 进入关怀版