网易首页 > 网易号 > 正文 申请入驻

为什么你的AI网关日志,总在配额拒绝时记下None?

0
分享至

企业级AI网关在动态解析模型别名、或在用量配额中间件层拒绝请求时,如果等到路由执行完再去读模型标识,访问日志就会出问题:要么记下解析后的回退模型,要么在每一次429/403配额拒绝时记下None。容量规划的人因此看不到用户真正请求的是哪个模型。

GitLab的AI Gateway(ai-assist)用FastAPI和Starlette支撑Code Suggestions与GitLab Duo,覆盖云端和自托管模型部署。在/v2/code/completions这条流水线里,进来的SuggestionsRequest载荷会带上客户端请求的模型(model_provider、model_name)。路由处理器随后可能在模型解析阶段把它覆盖掉,也可能在has_sufficient_usage_quota校验失败时直接拒绝。

在编写MR !7935(fix: preserve requested model in access logs,随v1.944.1发布)时,两种关键的失败模式浮出水面。

  • 第一种:遥测提取如果跑在配额依赖之后、或跑在载荷被就地改写之后,被拒绝的请求就永远记不下是哪个模型耗尽了配额;成功的请求则把解析后的后端模型记在了本该记请求模型的位置。
  • 第二种:在FastAPI路由装饰器里,天真地去检查位置参数args[0]或未标注类型的kwargs来提取请求体并不可靠。FastAPI会把Configuration这类依赖作为关键字参数注入,一个粗糙的装饰器可能把注入的Configuration对象误当成SuggestionsRequest载荷。
  • 还有一层:自托管模型的载荷可能携带敏感字段(model_api_key、model_endpoint、model_identifier,或AWS IAM角色ARN),这些绝不能泄漏进starlette_context的访问日志。

MR !7935的做法是抽出一个专门的record_requested_model()路由装饰器中间件(ai_gateway/api/middleware/route/requested_model.py)。它对kwargs.get("payload")显式做isinstance(payload, SuggestionsRequest)校验,并且只把meta.requested_model_provider和meta.requested_model_name写进starlette_context——这一切发生在配额校验和模型解析执行之前。

这样一来,即便has_sufficient_usage_quota把请求短路掉,或者处理器改写了目标模型,结构化访问日志里仍然保留着用户请求的确切提供商和模型名,且没有任何凭据泄漏。

对企业平台团队来说,这套改动的价值在于跨多模型路由和配额边界拿到了防篡改的可观测性:在starlette_context里同时记下"请求的模型"与"解析后的模型",同时对自托管的API密钥和端点做严格清洗。

落到可复用的经验上:在FastAPI/Starlette的AI网关里,用带类型校验的装饰器,在配额守卫和模型别名解析器运行之前,把请求的模型标识写进上下文本地存储;并且对要记录的属性做显式白名单,堵住凭据泄漏的口子。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
为了宽慰观众,《伟大的长征》在结局撒了一个“谎”,太戳心了!

为了宽慰观众,《伟大的长征》在结局撒了一个“谎”,太戳心了!

糊咖娱乐
2026-11-16 18:02:49
房东通知我,房租从2200涨到3000,我不租了,结果房东的女儿加我微信说:“3000确实是我爸定的价格,不过,咱们可以私下商量。”

房东通知我,房租从2200涨到3000,我不租了,结果房东的女儿加我微信说:“3000确实是我爸定的价格,不过,咱们可以私下商量。”

可读
2026-11-17 15:00:05
陈百祥回应谭咏麟蟹宴没请他:我吃蟹的时候也没叫他

陈百祥回应谭咏麟蟹宴没请他:我吃蟹的时候也没叫他

情感大头说说
2026-11-16 02:53:25
2026年养老金调整通知晚发,退休人员从1月1日起的补发会少吗?

2026年养老金调整通知晚发,退休人员从1月1日起的补发会少吗?

墨兰史书
2026-11-16 04:25:04
王俊杰当选周最佳!轰28+9创NCAA生涯新高 目前得分排全队第一

王俊杰当选周最佳!轰28+9创NCAA生涯新高 目前得分排全队第一

罗说NBA
2026-11-17 06:17:36
发现中国一个奇怪的现象:只要有公婆帮扶的家庭,儿媳都忙着回公婆家;而公婆不帮的家庭,儿媳早已断联!

发现中国一个奇怪的现象:只要有公婆帮扶的家庭,儿媳都忙着回公婆家;而公婆不帮的家庭,儿媳早已断联!

心理观察局
2026-08-01 07:10:30
陈小春开丰田北上广东,20多年的老车,外观却让人过目不忘

陈小春开丰田北上广东,20多年的老车,外观却让人过目不忘

总李谈车
2026-11-16 19:54:04
笑不活了!苏州乘客飞机延误办改签,告诉空姐江浙沪几座机场都行,空姐一问目的地,他沉默三十秒才说:苏州

笑不活了!苏州乘客飞机延误办改签,告诉空姐江浙沪几座机场都行,空姐一问目的地,他沉默三十秒才说:苏州

王老师你还好吗
2026-11-06 14:39:40
你抛美债,我抛中债!外资纷纷减持中国债,大量资金流向美国?

你抛美债,我抛中债!外资纷纷减持中国债,大量资金流向美国?

明天见灌装冰块
2026-11-17 09:33:32
他是黄埔一期唯一被开除的学生,我党高级将领,蒋介石一生死敌!

他是黄埔一期唯一被开除的学生,我党高级将领,蒋介石一生死敌!

微野谈写作
2026-11-17 07:25:08
成龙用大半生经历给所有男女上了一课:有钱的男人年轻的时候,对原配很薄凉,但是只要原配不离婚,他老了之后,反而开始讨好原配

成龙用大半生经历给所有男女上了一课:有钱的男人年轻的时候,对原配很薄凉,但是只要原配不离婚,他老了之后,反而开始讨好原配

可读
2026-11-16 14:07:21
曝董事会不考虑黄仁勋复职!奥尔特曼发声:他是我的英雄

曝董事会不考虑黄仁勋复职!奥尔特曼发声:他是我的英雄

智东西
2026-11-17 10:28:12
中国首富李河君:花260亿建造水电站,年盈利36亿,四年狂赚1655亿

中国首富李河君:花260亿建造水电站,年盈利36亿,四年狂赚1655亿

青史卷中人
2026-11-17 03:38:13
别被骗了:每个月能领到2600块退休金的人,压根就是很少的一拨人

别被骗了:每个月能领到2600块退休金的人,压根就是很少的一拨人

放开他让wo来
2026-11-17 13:24:08
流亡的阿萨德一家何去何从?俄罗斯近日表明了明确态度:即便法院判了死刑,阿萨德也休想离开俄罗斯

流亡的阿萨德一家何去何从?俄罗斯近日表明了明确态度:即便法院判了死刑,阿萨德也休想离开俄罗斯

人生录
2026-10-22 00:20:08
4亿欧军团巨大蒙羞!6场全败0分降到B级 1亿欧巨星捂脸:近9场1胜

4亿欧军团巨大蒙羞!6场全败0分降到B级 1亿欧巨星捂脸:近9场1胜

风过乡
2026-11-17 07:00:17
中方宣布:赵显将访华

中方宣布:赵显将访华

政知新媒体
2026-11-12 15:33:00
于东来一天连更7条动态,称给管理层购买310辆坦克700越野车,另晒胖东来最新业绩:今年销售额已达258.41亿元

于东来一天连更7条动态,称给管理层购买310辆坦克700越野车,另晒胖东来最新业绩:今年销售额已达258.41亿元

极目新闻
2026-11-16 17:15:38
一张图吓得研究员当场辞职!Anthropic最疯神图流出

一张图吓得研究员当场辞职!Anthropic最疯神图流出

新智元
2026-11-15 16:41:23
善恶终有报!放弃国籍贪财好色,69岁坐轮椅的张铁林成全网笑柄

善恶终有报!放弃国籍贪财好色,69岁坐轮椅的张铁林成全网笑柄

傲傲讲历史
2026-10-08 14:16:43
2026-11-17 15:32:49
硅屿手记
硅屿手记
有态度网友ytd
211文章数 86关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

顾军被公诉 通报批其大肆收钱敛财、搞权色交易

头条要闻

顾军被公诉 通报批其大肆收钱敛财、搞权色交易

体育要闻

从上链接到上领奖台 34岁方博绝非等闲之辈

娱乐要闻

后会友期大瓜:3位女演员被迫换车厢

财经要闻

财政部:中加双方同意探索扩大双边贸易

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

时尚
手机
旅游
公开课
军事航空

老钱风、静奢风失宠了?“繁荣主义”穿搭突然爆火

手机要闻

华为麒麟9050显示技术揭秘!普通视频也能变全彩:画质、防窥双升级

旅游要闻

“含娃量”有点高,南京两天接待游客266.4万人次

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版